Dans l'East Side de New York où de somptueux appartements voisinent avec les plus sordides taudis, opère une bande de jeunes voyous qui ne cessent de tourmenter Philip, un garçon riche. Leur idole est Baby Face Martin, un redoutable gangster, né dans le quartier.
Un jour, Baby Face, accompagné de son acolyte Hunk, revient voir sa mère et son ancienne amie, Francey. Dave Connell qui a grandi avec lui dans les rues, lui demande de repartir, mais il lui rit au nez. Partagé entre l'amour de deux femmes, Drina et Kay, Dave rêve de devenir architecte pour abattre les maisons insalubres. Drina, qui est vendeuse, recherche la respectabilité et doit lutter pour éviter que son jeune frère ne devienne un autre Martin. Quant à Kay, malgré son affection pour Dave, elle vit avec un homme riche, loin des taudis.
Le retour de Martin est désastreux pour lui : sa mère le dénonce à la police et il découvre que Francey est devenue une prostituée. Désillusionné et amer, il décide alors avec Hunk de kidnapper Philip. Dave les surprend et les supplie d'abandonner leur projet. Martin lui donne un coup de couteau et le jette dans le fleuve, mais Dave réussit à sortir de l'eau et à prendre le pistolet de Hunk. Il poursuit son ancien camarade jusque dans un escalier d'incendie et l'abat.
Dans la foule qui entoure le corps de Martin, quelqu'un reconnaît l'un des voyous qui persécutait Philip. Celui-ci rejette la responsabilité sur Tommy, le chef de la bande. Recherché par la police, ce dernier veut s'enfuir, mais Dave et Drina lui offrent l'argent de la récompense pour payer un avocat, et il se rend.