Shanghaï, à la fin du XIXe siècle, est divisé en plusieurs concessions étrangères. Quelques maisons closes, situées dans une petite enclave, sont rassemblées dans la zone britannique. Ces " maisons des fleurs " attirent l'élite. Les dignitaires chinois, qui n'ont pas le droit de fréquenter les bordels de la partie chinoise de la ville, peuvent aussi bien y dîner, boire, jouer au mah-jong, fumer de l'opium, qu'y rencontrer des courtisanes, les " fleurs " de Shanghaï.
Perle, prostituée au grand cur de l'enclave Gongyang, donne un banquet dans ses appartements. Parmi ses invités, Wang Liansheng, fonctionnaire cantonais du ministère des Affaires étrangères, semble préoccupé. Depuis peu, Wang fréquente Jasmin, ce qui rend jalouse Rubis, la favorite de Wang, qui le considère comme son protecteur. Wang va voir Rubis chez elle, dans l'enclave Huifang. Ils se réconcilient pour un temps.
Une autre querelle éclate entre l'impopulaire Trésor et la nouvelle venue Jade. Trésor n'accepte pas le succès de Jade et Perle doit les séparer. Hong fait partie de la clientèle de Perle. Un soir, avec Jade, ils se retrouvent en compagnie d'autres habitués, parmi lesquels Zhu Airen et Luo le bavard. Zhu présente son neveu Shuren, qui est immédiatement séduit par Jade.
La situation s'envenime entre Wang et Rubis. Wang la soupçonne d'avoir pour amant un acteur de l'opéra de Pékin. Furieux, il casse tout dans l'appartement de Rubis et décide de prendre Jasmin comme deuxième épouse. Hong, son ami, lui rappelle qu'il ne doit pas totalement oublier Rubis, qui est financièrement dépendante de lui. Mais la rupture est définitive.
Émeraude, courtisane de l'enclave Shangren, est désormais libre. Luo lui sert de garant. Elle laisse vêtements et bijoux à son ancienne patronne.
Quelque temps plus tard, Wang, qui a bénéficié d'une promotion, se prépare à rejoindre sa nouvelle affectation dans sa province natale de Canton. Avant son départ, ses amis organisent un banquet en son honneur. Peu après, Hong et Perle évoquent son échec avec Rubis, qui vit désormais seule avec sa mère, et sa rupture avec Jasmin, qui l'a trompé.
Perle compte sur Hong pour l'aider à résoudre un autre problème. Jade croit que Zhu Shuren va l'épouser, alors que la famille Zhu a déjà fiancé Shuren à un parti plus intéressant. Jade tente alors d'entraîner son amant dans son suicide. Ils sont sauvés à temps. Perle et Hong proposent que la famille Zhu verse une somme pour racheter la liberté de Jade et une autre en guise de dote afin qu'elle puisse éventuellement se marier.
Le dernier plan muet entre Wang et Rubis qui se trournent autour sans se regarder, chacun affairé à ses gestes et perdu dans ses pensées, est rien moins que conclusif. Il est la négation même d'une quelconque progression, depuis le début du film, dans la relation entre cet homme et cette femme qui n'ont jamais pu choisir entre résister ou céder à l'attraction mélancolique qui les met en orbite l'un de l'autre dès qu'ils sont en présence, aussi incapables de se manifester leur désir de se rapprocher que celui de se détacher l'un de l'autre.
Univers de luxe, calme et volupté, somptuosité miniature des décors, raffinement des objets et des tissus, tactilité des matières. Beauté des femmes qui habitent souverainement ces plans comme Les femmes d'Alger, la fameuse toile de Delacroix. La singularité de ce film dans l'uvre de Hou Hsiao-hsien tient à ce qu'il se trouve pour la première fois en posture, avec cette histoire datant d'un siècle, d'imaginer un monde en fermant les yeux sur le monde. Un monde parfaitement clos, aux couleurs toujours chaudes, l'intérieur d'un écrin tapissé de rouge, où la lumière bleutée du jour ne finira par pénétrer, indirectement, à travers quelque ouverture sans découverte, que vers les tout derniers plans du film.
Le roman de Han Ziyun dont est inspiré le film a été publié en feuilleton à la fin du XIXème siècle comme une chronique romancée de la vie des maisons closes de Shanghai, que l'auteur connaissait bien pour les fréquenter assidûment au moment même où il écrivait son livre, interrompu par sa mort. De ce passé documenté, sinon documentaire, Hou Hsiao-hsien a fait une utopie qui eut enchanté, je pense, Roland Barthes, d'être une utopie du langage. Un des plus grands charmes du film tient à que dans cette société doublement fermée (nous ne sortirons jamais de ces maisons de prostitution elles-mêmes encloses dans les concessions internationales échappant à la loi chinoise) les rapports langagiers sont totalement affranchis des rapports de dépendance (de quasi-esclavage) qui en règle l'ordre économique et social ? Une courtisane peut faire la morale à sa mère maquerelle, trop friande de jeunes amants, alors qu'elle est sa propriété. Une vieille gouvernante-servante peut donner son avis, en sa présence, sur le comportement de tel riche client avec la courtisane vedette de la maison. Chaque personnage, quel que soit son rang et son degré d'asservissement dans cet univers vénal des maisons closes est absolument libre et ne se prive pas -néanmoins sans une once d'hystérie, d'user de cette liberté, acquise pour tous et imprescriptible. Ce droit permanent au commentaire, car c'est bien de cela qu'il s'agit, crée une "logosphère" étrangement douce où le langage des autres, loin d'être oppressant, protège les sentiments de ceux dont on parle, entourant leur méditation silencieuse d'un nuage feutrée de conjectures croisées
Alain Bergala : Hou Hsiao-hsien sous la direction de Jean-Michel Frodon, cahiers du cinéma 1999