Pépé le Moko, chef d'une bande de malfaiteurs, s'est réfugié dans la Casbah d'Alger avec les membres de sa bande, Pierrot, Carlos et Grand-Père, et sa maîtresse Inès. La police cherche à l'attirer hors de la Casbah, où il est pratiquement imprenable. Aidé d'un indicateur, Régis, l'inspecteur Slimane, cherche à faire sortir Pépé de son "royaume".
Il utilise habilement l'amour de Pépé pour une touriste, Gaby. Quand il apprend que Gaby va s'embarquer pour la France Pépé cherche à la rejoindre à tout prix, en dépit du danger qu'il courre. Mais il est dénoncé par Ines, jalouse de le voir partir pour rejoindre une autre femme. Slimane a fait croire à Gaby que Pépé était mort. Au moment de l'appareillage; Pépé est arrêté sans avoir pu parler à Gaby, persuadé qu'elle l'a quitté. Il se suicide sur le port.
Placé sous le signe du réalisme poétique, Pépé le Moko est aussi un film de gangsters à suspens. Il est l'un des premiers exemples du film noir français. Il s'inspire clairement du Scarface de Howard Hawks réalisé en 1932. Il utilise ainsi des ombres et des personnages en silhouette pour un créer un sentiment de menace. Le film comporte aussi quelques éclairs de violences. Le plus marquant étant l'exécution brutale d'un informateur, masquée par le bruit d'un piano mécanique.
La reconstitution en studio de la Casbah algérienne crée une atmosphère accablante, très évocatrice qui n'aurait probablement pas été mieux rendu si elle avait été filmée en décors naturels.
Le film consacre Gabin comme héros tragique du réalisme poétique, un rôle qu'il monopoliserait dans presque tout le cinéma français des années 30 l'interprétation globale est d'ailleurs excellente. Le chanteur Fréhel apparaît dans une des scènes du film, entonnant les paroles d'une de ses propres chansons jouées sur un phonographe, "Java au son de l'accordéon".
Pendant la deuxième guerre mondiale, Pépé le Moko a été interdit par les autorités françaises comme trop démoralisateur. L'interdiction est immédiatement levée en 1945 et le film largement apprécié comme un chef-d'uvre par la critique et le public. Le film ne figure plus aujourd'hui dans les palmarès que comme un exemple réussi du cinéma français des années 30.