Chômeur et pas mécontent de l'être, Jérôme passe ses journées au lit, à regarder la télévision, tandis que son épouse Nelly subvient à leurs besoins grâce à de petits travaux de dactylographie.
Dans un café, la jeune femme lie conversation avec Pierre Arnaud, un homme âgé et fortuné que connaissent très bien ses amis Jacqueline et Taieb. Apprenant les difficultés financières de Nelly, il insiste pour qu'elle accepte un chèque afin de régler ses dettes, puis il lui propose de taper le manuscrit de ses mémoires à paraître chez l'éditeur Vincent Granec. Le passé exotique d'Arnaud intrigue Nelly, qui s'intéresse à ce projet et prodigue volontiers ses conseils. Lorsqu'Arnaud décide de liquider sa collection de livres rares, elle le met en rapport avec Christophe, un ami bibliothécaire très compétent. Au fil des jours, Nelly apprend à mieux connaître son employeur. Perspicace et bourru, il entretient des rapports lointains avec sa fille Isabelle et avec son ex-épouse Lucie, remariée et installée en Suisse.
Pourtant, cet homme implacable se laisse régulièrement soutirer de l'argent par Dollabella, un parasite veule et cauteleux. En veine de confidences, Arnaud avoue que Dollabella fut jadis son associé et que, pour le punir d'une indélicatesse, il a sciemment détruit sa réputation et ruiné sa carrière, une méchanceté qu'à ce jour il ne se pardonne toujours pas.
Les relations entre Nelly et Jerôme s'étant distendues, le couple choisit de divorcer et la jeune femme se laisse courtiser par Vincent, provoquant chez Arnaud des accès de jalousie et d'agressivité. Toutefois, elle ne semble pas disposée à s'engager et Vincent, dépité, prend l'initiative de la rupture. De son côté, Jérôme a trouvé du travail et une autre compagne. Désemparée, Nelly demande à Arnaud de l'héberger pour la nuit. Le lendemain, elle entend une voix de femme dans l'appartement : Lucie, qui vient de perdre son second mari, est venue chercher réconfort auprès d'Arnaud et ce dernier a accepté de l'accompagner dans un grand voyage autour du monde. Sans doute veut-il échapper à la tentation constante que représente Nelly. Mais celle-ci ressent ce départ comme un nouvel échec : en dépit de son mauvais caractère, Arnaud était devenu pour elle le plus précieux des amis.
Michel Serrault ressemblant de façon saisissante au réalisateur qui réalise sans doute là une forme d'autoportrait. Plus que jamais, l'homme est au centre de l'oeuvre de Sautet ; mais, face à lui-même et aux incertitudes de son devenir, l'angoisse, désormais, le mine. Plongé dans un quotidien menaçant, guetté par le vieillissement, en proie au doute, il éprouve alors la tentation de fuir ses responsabilités et de se réfugier dans la solitude. Cette attitude de démission ruine sa vie de couple et rejaillit négativement sur ses rapports avec les femmes. Celles-ci, heureusement plus combatives que leurs compagnons nuancent d'optimisme une oeuvre dont la tonalité, sans elles, serait celle du renoncement.
L'ensemble developpe donc une psychologie de bon aloie, un peu rance et au total bien ennuyeuse.