Cette vision trompeusement simple d'un hangar, d'une grange et d'une maison dans South Truro, dans le Massachusetts, agit de façon puissante sur les émotions. Le soleil brillant, les couleurs brillantes et le cadre pastoral évoquent les paysages célèbres de la Nouvelle-Angleterre peints par les générations précédentes de réalistes et impressionnistes américains. La peinture rappelle les après-midi estivaux chauds et clairs et les étendues exaltantes de ciel et de terre trouvées le long de la côte rugueuse de la Nouvelle-Angleterre. À cet égard, le travail de Hopper ressemble à celui des peintres paysagistes américains Winslow Homer et Childe Hassam.
Cependant, il est impossible de trouver à Cape Cod Afternoon l'optimisme héroïque des artistes du XIXe siècle. Les ombres de l'après-midi s'allongent, le hangar s'effondre, la maison est fermée, et l'herbe et les arbres pâlissent. Alors que la diagonale partant du coin inférieur gauche semble inviter à entrer dans l'espace pictural, un mélange de murs, de fenêtres et de portes bloquent une telle possibilité. Tous ces éléments suggèrent la ruine et l'abandon. Hopper a peint Cape Cod après-midi en 1936, pendant la Grande Dépression en Amérique et les débuts de la guerre en Europe. Le sens de la solitude et du détachement de l'artiste l'emportent, laissant au spectateur un sentiment mélancolique, si caractéristique du travail de Hopper.