Dans le nord du Portugal, une voiture roule... À son bord, outre le chauffeur, des membres d'une équipe de cinéma qui tourne non loin de là : Manoel, réalisateur réputé et âgé, et ses acteurs, Judite et Duarte, tous trois Portugais, ainsi qu'un autre acteur, Afonso, un Français, dont le père était originaire du village où ils se rendent. Afonso veut y rencontrer une vieille tante qu'il ne connaît pas et remonter ainsi vers ses origines.
Mais c'est d'abord Manoel qui égrène ses propres souvenirs et argumente avec ses compagnons sur l'écoulement impitoyable du temps. Ils s'arrêtent à Caminha, sur le fleuve et au bord de la mer, et Manoel évoque sa vie au collège jésuite, qu'ils observent à distance. Puis il les conduit dans un village pour retrouver une statuette polychrome et naïve, dont une femme qu'ils croisent leur raconte l'histoire : c'est le pauvre Pedro Macao, " avec sa poutre sur le dos ", condamné à porter son fardeau ou à mourir écrasé s'il le lâchait.
Manoel veut ensuite revoir le Grand Hôtel à Peso, où sa famille séjournait : le bâtiment est en ruines, le parc à l'abandon. Manoel tente de cueillir la fleur rouge d'un arbuste, mais elle est trop haute pour lui. Dans l'arrière-pays, près des montagnes, ils rencontrent la tante, l'oncle et la cousine d'Afonso. La vieille femme, qui vit dans ses souvenirs, est d'abord méfiante face à cet étranger qui ne parle pas sa langue, puis elle se laisse amadouer et lui fait des confidences sur son père, dont la vie fut une longue suite d'épreuves. Afonso est reconnu par les siens et sa tante lui offre un pain en signe de paix. On se sépare. De retour sur le tournage, Afonso constate que son maquillage lui donne un petit air de Pedro Macao... Avec sa poutre sur le dos !
Deux tentatives pour revenir au début du monde. Le film de Manoel basé sur la seul travail de la mémoire qui, à partir de lambeaux de réel, recherche du temps perdu. C'est une fleur inaccessible.
Le film de la paysanne permet de passer le pont et d'atteindre le lieu du temps retrouvé, enfermé, le vrai début du monde.
Mais, d'abord, en premier, le film de Manoel. Le dispositif est strict : des déplacements en voiture pendant lesquels quatre des occupants du véhicule papotent à qui mieux mieux, et des arrêts dans des lieux fétiches de la mémoire intime du cinéaste : un collège, un hôtel où se passaient les vacances, la statue de Pedro Macao, un portefaix.
Puis le film de la paysanne. Autant la logique du film de Manoel était celle du flux, du chemin, du fleuve (bref, toutes les métaphore de la vie qui va), autant le film de la paysane s'inscrit plutot dans le travail de la matière, cette femme comme un bloc de pierre que l'on regarde. Ce que le film de Manoel ne réussit pas, parce qu'il ne pouvait pas le résussir, à savoir ressusciter les débuts d'un individu, le film de la paysane l'atteint. On se retrouve bien à l'origine du monde, lorsque le temps tournait en rond et les hommes, un autre après l'autre, se recommençaient chaque jour.