Patinir a divisé l'espace en trois zones verticales avec la grande rivière dans le centre sur laquelle Charon mène sa barque. L'iconographie mêle des sources, motifs et thèmes bibliques et classiques. Un ange sur le promontoire, deux autres accompagnant les âmes non loin de là, d'autres âmes minuscules à l'arrière-plan permettent de reconnaître le paradis sur la gauche comme un ciel chrétien et non pas les Champs-Elysées classiques. En revanche, à droite, le chien Cerbere, tapis et invisible depuis la barque, semble garder l'enfer d'Hadès et provient de la mythologie grecque, comme Charon et sa barque.
Le peintre met en scène le moment où Charon a atteint le point où le Styx se sépare en deux canaux, droite et gauche. Chaque âme humaine est responsable du choix de sa destination finale lorsque l'heure de la mort arrive. Patinir montre une âme dont le profil et le corps sont tournés vers le chemin facile de la perdition, ce qui indique que le choix a été fait. Cette idée est exprimée dès la fin du Moyen Age par toute une série de métaphores, à la fois bibliques et classiques. Patinir semble avoir pris son inspiration première dans l'Evangile de Saint Matthieu. Il reflète le pessimisme des temps troublés par la Réforme protestante qui prend de l'ampleur après la publication des Quatre-vingt-quinze thèses de Wittenberg par Martin Luther en 1517. Patinir peint ainsi un memento mori, un rappel pour tous ceux qui le contemplent : ils doivent se préparer pour le moment de la mort. La route difficile doit être choisie à l'imitation du Christ, en ignorant les faux paradis et les tentations trompeuses.
On ne sait rien du commanditaire et de la destination du tableau. De toute évidence, cependant, il n'est pas un retable, mais une peinture de cabinet, propre à commanditaire aux penchants humanistes. Faute d'un modèle préexistant, le peintre, sans doute aidé par son client ou un mentor, a repris des représentations antérieures du ciel et de l'enfer comme sources d'inspiration pour son paradis et son enfer. Ceux de Bosch en particulier, ont été déterminants dans l'ensemble du processus de création et de l'exécution finale. Rayons X et réflectographies infrarouges révèlent des changements par rapport à l'idée originelle. Ils sont très nombreux dans l'enfer avec ses structures fantastiques évoquant le Jardin des Délices de Bosch bien plus évidentes que sur le dessin. Plus important encore, cependant, sont les modifications apportées par Patinir`au Paradis, bien que l'emprunt à Bosch soient moins évident.
La chronologie exacte de la peinture est difficile à déterminer. Il appartient sans doute à la dernière période avant sa mort en 1524. Les caractéristiques du dessin et le soin considérable pris pour l'exécution de la peinture suggèrent une date plus proche de la fin de la période centrale. Une datation autour de 1520, et donc probablement plus tôt que le Paysage avec la Tentation de saint Antoine ou le Paysage avec Saint-Christophe est ainsi à retenir.