Désireux d'instaurer une marque forte de pouvoir dans la capitale impériale, le shôgun Yoshimitsu Ashikaga (1358-1408) fait construire le pavillon d'or en 1397, qui était à l'origine une villa privée. À la mort du shôgun Yoshimitsu, son fils Yoshimochi transforme l'endroit en temple Zen pour l'école Rinzai et le nomme "Rokuon-ji". Le sobriquet "Kinkaku-ji", le pavillon d'or, ne lui échoira que plus tard dans l'histoire.
Détruit par les flammes à de nombreuses reprises à travers les siècles, le phénix renaît toujours de ses cendres. La construction actuelle date de 1955, après qu'un moine n'ait incendié le bâtiment originel en 1950.Ce sombre épisode de la vie du monument a été repris dans Le Pavillon d'or, l’œuvre de Yukio Mishima (1925-1970).
Le temple est inscrit au Patrimoine mondial de l'Unesco depuis 1994, car il reflète à la perfection l'esthétique japonaise du XIVème et XVème siècles. Depuis 1956, il est aussi classé site historique spécial du Japon et lieu spécial de beauté pittoresque. Le pavillon d'or a en outre été rénové en 1987 : il a, à cette occasion, reçu une nouvelle couche de feuilles d'or.