New York, février 1971 : l'inspecteur Frank Serpico est grièvement blessé à la tête et transféré d'urgence à l'hôpital de Greenpoint. Au commissariat de la huitième brigade, on s'interroge pour savoir si c'est un policier qui l'a descendu. Le commissaire en chef Sidney Green, son ami, vient prendre de ses nouvelles. Serpico se souvient :
Onze années plus tôt, Frank sort diplômé de l’académie de police. Pour cet homme d'origine italienne, son métier est un véritable sacerdoce (et un rêve enfin réalisé). Mais il découvre très vite que ses collègues sont corrompus par leur environnement et acceptent des pots-de-vin pour fermer les yeux sur certains agissements. En patrouille, il affronte trois hommes violant une femme et appréhende l'un des assaillants. Lorsque le suspect est battu pendant l'interrogatoire, Frank refuse d'y participer et le persuade ensuite de livrer les vrais coupables. Frank enfreint le protocole d'arrestation et ses collègues inspecteurs en profitent pour s'en attribuer le mérite dans leur rapport.
En laissant pousser ses cheveux et sa moustache, Frank trouve une affectation au Bureau des identifications. Il déménage à Greenwich Village et commence à sortir avec Leslie, une jeune femme de sa classe d'espagnol. En raison de son apparence et de ses intérêts moins que conventionnels, comme le ballet, et d’un malentendu dans la salle de bain des hommes, il est accusé d’être homosexuel. Frank clarifie la situation auprès du capitaine McLain mais demande un transfert, dans l'espoir d'être promu inspecteur.
Dans son nouveau quartier, Frank est autorisé à garder ses cheveux et sa barbe et à utiliser ses propres vêtements et sa voiture en patrouille. Alors qu'il poursuit un cambrioleur, Frank est presque abattu lorsque d'autres agents qui ne l'avaient pas reconnu. Il se lie d’amitié avec Bob Blair, qui a été affecté au bureau d’enquête du maire. Leslie abandonne ses prétentions artistiques et quitte Frank pour épouser un homme riche au Texas.
Frank reçoit un pot-de-vin et informe Blair, qui organise une réunion avec un enquêteur de haut rang. On lui a dit que s'il devait témoigner, il serait probablement tué par des flics corrompus et qu'il est préférable d'"oublier". Frank remet tranquillement le pot-de-vin à son sergent. Entamant une romance avec sa voisine Laurie, il demande à McLain un autre transfert mais commence à enregistrer ses appels téléphoniques.
Réaffecté à la 7e division «propre comme un sous neuf», Frank découvre immédiatement une nouvelle corruption policière. Forcé d'accompagner ses collègues officiers en civil alors qu'ils commettent des actes de violence, d'extorsion et de collecte de fonds, il refuse d'accepter sa part de l'argent. Il informe McLain, qui l'assure que le préfet de police veut qu'il continue à recueillir des preuves et qu'il contactera bientôt Frank. Frank se désespère d'attendre le contact promis, craignant pour sa vie. Frank et Blair s’adressent au bras droit du maire, qui promet une véritable enquête et le soutien du maire, mais ils sont bloqués par la pression politique : le maire a besoin de la police pour les émeutes raciales qu'il craint. Frank rejette la suggestion de Blair d’aller voir d’autres administrations ou la presse.
Les collègues de Frank essaient à nouveau de le convaincre d'accepter de l'argent, mais il refuse. La tension sur Frank détruit sa relation avec Laurie. Quand il découvre un suspect qu'il a arrêté plaisanter avec ses collègues, Frank brutalise l'homme, qu'il révèle avoir purgé quinze ans pour avoir tué un flic.
Frustré après un an et demi d'inaction de la police, et sans mot du préfet, Frank informe McLain qu'il s'est adressé à des administrations extérieures. Devant ses collègues, Frank est convoqué par des inspecteurs de la police des polices, qui expliquent que les charges qu'il a accumulées ne concernent aucun gradé de niveau supérieur à celui d'inspecteur. Ils en informent néanmoins le préfet de police qui leur refuse de confier l'enquête à une commission indépendante et reconnaît à demi-mot être informé depuis longtemps par McLain des allégations de Serpico.
Alors que l'enquête avance, Frank est menacé par ses collègues et Laurie, excédée de le voir se détruire, le quitte. Le procureur fait croire à Frank que s'il témoigne devant un grand jury, une enquête majeure sur la corruption endémique de la police aura lieu. Il est profondément consterné lorsque, pendant le grand jury, il est empêché de répondre à des questions qui impliquent la chaîne de commandement. Lorsque Frank se plaint que tous traînent les pieds pour enquêter et faire quelque chose contre la corruption, il devient de plus en plus clair que leur plus grande peur et vulnérabilité est qu'il s'adresse à une agence indépendante extérieure. Sachant que sa vie est en danger, Frank se rend avec un commissaire de secteur et Blair au New York Times, rendant ses allégations publiques. Il n'est pas pour autant nommé inspecteur mais réaffecté dans une dangereuse escouade de stupéfiants à Brooklyn, où il trouve une corruption encore plus grande.
Lors d'une attaque de drogue en 1971, Frank reçoit une balle dans le visage parce que ses collègues n'ont pas réagi alors qu'il restait bloqué par une porte durant de longues secondes. Il récupère néanmoins, mais avec les effets à vie de sa blessure. Il reçoit finalement la médaille d'or pour «bravoure remarquable en action» qui fait de lui un inspecteur mais la rejette. Il témoigne devant la Commission Knapp, une enquête gouvernementale sur la corruption policière du NYPD.
Un épilogue révèle qu'il a démissionné du NYPD le 15 juin 1972. Il part vivre en Suisse avec son chien et sa pension d'invalidité.
En trois ans, à l'orée des années soixante-dix, cinq films tracent le portrait de policiers aux prises avec une banalisation du mal dans l'exercice de leur métier dont ils ne peuvent sortir indemnes. Ce sont French connection (William Friedkin, 1971), L'inspecteur Harry (Don Siegel, 1971), Les flics ne dorment pas la nuit (Richard Fleischer, 1972) et The offence le précédent film de Lumet ainsi que celui-ci.
Tiré d'une histoire vraie. Serpico fait son métier, s'habillant et vivant comme ceux qu'il doit surveiller ou protéger (tour à tour hippie barbu et chevelu, boucher, clochard ou rabbin). Il rêve de devenir inspecteur. Giuliani aurait ensuite mis fin à la corruption.