L'épisode de Babel prend place dans la Genèse. Dans la plaine de Shinéar, au sud de l'Irak, le roi Nemrod et son peuple avaient entrepris la construction d'une tour qui devait atteindre les cieux.
Pour punir l'orgueil humain, Dieu décide alors de "confondre" les langages (Babel vient de l'hébreu bâlal, qui signifie confondre). Il crée alors la diversité des langues et disperse les hommes sur la terre, ce qui empêche ces derniers de s'entendre et de poursuivre leur entreprise.
Le mythe est une condamnation de la présomption, de l'hubris, qu'on retrouve dans de nombreuses cultures. La tour de Babel doit être mise en relation avec la grande ziggourat de Babylone (dont les matériaux sont les mêmes que ceux décrits dans la Bible). Et pour les premiers chrétiens, il n'y a qu'un pas de Babylone à Rome, qui fut, à une époque, une nouvelle Babylone, grande ville et lieu de luxure. Au-delà de l'orgueil humain, ce sont aussi les grands centres de civilisation que condamne le mythe.
Bruegel place la construction de la tour dans un paysage côtier - C'est grâce à la mer que les Hollandais acquirent une grande partie de leurs richesses. La tour se trouve aussi au bord d'un fleuve - En effet, le transport des marchandises de gros tonnage, comme les pierres et le marbre, s'effectuait à l'époque par les voies navigables et non pas par terre où les chemins n'étaient pas revêtus. Le peintre introduit dans l'épisode biblique plusieurs références à la réalité, dont entre autre le panorama de la ville
Au premier plan, le roi Nemrod visite le chantier, les tailleurs de pierre se jettent à terre. En Europe, cette prosternation n'est pas de mise. Bruegel indique ainsi l'origine orientale de l'épisode.