Harlem, 1928. L'un des cabarets les plus huppés, le "Cotton Club", vit au rythme du jazz, dans une atmosphère de prohibition et de début de krach.
Les destinées de deux jeunes hommes, l'un cornettiste, blanc, Dixie Dwyer, l'autre, danseur de claquettes, noir, Sandman Williams, vont graviter autour de cette boîte.
Le premier sauve un jour la vie d'un truand, Dutch Schultz, qui lui offre sa protection en échange et promet de l'aider dans sa carrière; ce qui n'empêche pas Dixie de connaître une aventure tumultueuse avec la maîtresse de son protecteur, la belle Vera Cicero. Le second quitte son frère pour entrer au Cotton Club, et se lier avec la ravissante danseuse noire à la peau claire, Lila Rose Oliver.
Les années passent, la crise est là et le pouvoir de la pègre s'est étendu. Sur les conseils intéressés de Madden et Frenchy, les patrons du Cotton, Dixie est allé tenter sa chance à Hollywood. Il tourne un premier film qui le propulse très vite au rang de star. Son frère, petit truand, est abattu. Sandman est devenu l'une des attractions principales du cabaret; il s'est réconcilié avec son frère mais perd de vue Lila Rose.
Les règlements de comptes se succèdent, Madden, Frenchy et un certain Luciano éliminent Dutch. Dixie retrouve Vera, Sandman revoit Lila Rose, les deux couples quittent le Cotton Club et sa scène transformée en hall de gare, pour prendre le train et quitter New York.