La Panthère Rose, le plus gros et célèbre diamant du monde, est depuis dix siècles l'emblème national de l'État moyen-oriental du Lugash. Mais un audacieux voleur est parvenu à s'emparer du précieux joyau et à disparaître avec lui... Le général Wadafi, demande de faire venir de Paris l'inspecteur Clouseau qui, une fois déjà, a retrouvé la précieuse pierre.
Or, celui-ci, rétrogradé au rôle d'agent de la circulation, vient d'être limogé par l'inspecteur-chef Dreyfus pour avoir, par bêtise, aidé les auteurs d'un hold-up à prendre la fuite. Apprenant qu'il doit envoyer Clouseau au Lugash, Dreyfus, déjà au bord de la dépression, accumule les actes manqués auto-mutilatoires...
À la vue du gant brodé du monogramme "P" posé à la place du joyau volé, Clouseau en déduit que le voleur est le "Phantom", alias sir Charles Lytton, qui s'en était déjà emparé quelques années auparavant. Il se rend sur la Côte d'Azur où le gentleman-cambrioleur réside. Or, celui-ci a décidé de partir au Lugash afin de mener sa propre enquête pour démasquer l'usurpateur et se disculper aux yeux de la police.
À Nice, où il échappe par miracle à trois attentats, Clouseau parvient à s'introduire dans la villa des Lytton déguisé en réparateur du téléphone. Un faux appel téléphonique, improvisé par Claudine Lytton, qui l'a naturellement reconnu, l'amène à filer celle-ci jusqu'à Gstaad...
Pendant ce temps, sir Charles doit manuvrer habilement pour échapper au piège tendu par la pègre locale - prête à le livrer aux autorités pour arrêter l'action de la police qui lui cause du tort - et le chef de la police secrète, le colonel Sharki, auquel le vol permet d'emprisonner les opposants au régime. Ayant reconnu quelqu'un parmi les touristes sur les enregistrements vidéo des caméras de surveillance, sir Charles quitte le Lugash, après moult diversions, et retrouve peu après son épouse à Gstaad, où Clouseau a multiplié, sans succès, les tentatives pour l'" approcher " et fouiller sa chambre. Claudine Lytton, que son mari a reconnue malgré son déguisement, était bien l'auteur du vol, qu'elle a organisé afin de pousser sir Charles à abandonner sa morne existence de "retraité". Clouseau s'apprête à les arrêter lorsque surgit Sharki qui, ayant filé sir Charles, va les abattre tous les trois. Mais il est tué par erreur par Dreyfus, qui tentait depuis plusieurs semaines d'assassiner Clouseau. Ce nouvel échec l'ayant rendu fou de rage, Dreyfus est interné alors que son "tourmenteur" est promu inspecteur-chef et nommé à son poste.