Le jardin a été construit à la fin du XVe siècle ou au début du XVIe siècle, entre 1499 et 1507. Sa superficie est d'environ 200 mètres carrés. Il est entouré au sud et à l'ouest d'un muret couvert d'un toit de tuiles, à l'est d'un autre muret, et au nord d'une véranda en bois derrière laquelle se trouve le hōjō (les appartements du supérieur du monastère). À l'extérieur se trouvent des érables et des pins rouges qui n'étaient sans doute pas présents à l'origine. La construction sur un terrain plat est une nouveauté à l'époque. Quinze pierres, entourées de mousse, y sont disposées en groupes, d'est en ouest, de cinq, de deux, de trois, de deux puis de trois. Le petit nombre de pierres est aussi une nouveauté par rapport aux autres jardins secs de la même période : celui du Daisen-in par exemple en compte plus de cent, sur une surface deux fois plus petite. Le jardin de pierres du Ryōan-ji appartient à la catégorie des « jardins de néant » (mutei).
La paternité du jardin a été attribuée diversement à Hosokawa Katsumoto ou au peintre Sōami. Ces attributions sont probablement légendaires. Sur l'une des pierres du jardin sont gravés les noms de deux kawaromono (ja) (une sorte d'intouchables japonais) : Kotarō et Hiko(?)jirō. On sait par ailleurs qu'un Kotarō et un Hikojirō ont travaillé au jardin du Shōsenken (au monastère Shōkokuji) dans les années 1490-1491. Aussi ces deux personnes pourraient bien être les véritables auteurs du jardin de pierres du Ryoanji.
Les pierres ont été disposées de telle sorte qu’il ne soit pas possible de voir les quinze pierres à la fois d’où que se trouve l’observateur. Le jardin se compose simplement d’un lit de fins graviers de kaolin harmonieusement ratissés. Le kaolin ratissé symbolise l’océan, les rochers, eux, figurent les montagnes.