Un triple prologue : un carton signale qu'un buf, épris de liberté, s'est échappé et est tombé dans un trou. Des dessins avec en voix off la voix de Deligny "Débile profond disent les experts. Tel il est dans la moindre geste..." Ensuite, quelques cartons annoncent que deux enfants se sont échappés d'un centre, l'un est tombé dans un trou et l'autre a été ramené au centre.
Des jeunes s'ennuient dans le centre. Les deux enfants qu'on suppose échappés jettent des pierres au bord de l'eau et semblent se cacher de deux hommes en mobylette. Yves découvre un couteau abandonné. Ils marchent près d'une carrière où quelques ouvriers s'activent. Les deux enfants grimpent sur une falaise. Ils atteignent une maison abandonnée dans laquelle ils découvrent une table et une statuette de femme déshabillée. Le soir, ils dorment dans la maison. Ils se cachent l'un de l'autre et Richard se glisse dans un trou dont il avait mal évalué la profondeur.
Yves le cherche un peu, s'emporte à propos d'une négresse imaginaire. Il croise Any, la fille de l'ouvrier de la carrière qui habite en contrebas de la maison où il s'est caché. Yves voit Any tirer avec une corde la vieille armature de fer d'un liant pliant. Il dérobe la balançoire accrochée à l'arbre d'à côté et essaie ensuite de la réparer mais il a du mal à faire des nuds.
Yves fabrique une sorte de barrage de bois devant la maison. Il invective Monsieur Corbillard, Eisenhower, le Pape.
Pendant ce temps, Marie-Rose, l'amie d'Any, essaie des chapeaux. On entend des klaxons dans la rue puis une musique de fanfare. Le père d'Any sculpte dans la glaise le visage de sa fille. Yves fabrique une croix comme pour enterrer son ami Richard qu'on entend pourtant parfois crier. Any s'en va près de la rivière porter le repas du midi à son père. Yves est aussi près de l'eau, il manie un câble métallique abandonné là.
Any croise à nouveau Yves et l'incite à la suivre, ils parcourent les routes. Yves éructe "le discours de Strasbourg". Any reconduit Yves au centre. Il se remet au dessin, content de lui : "Et alors, bande de cons. Et alors, quoi, bande de cons." dit-il off.
Le film déconcerte doublement par une histoire difficile à saisir et une bande-son rarement synchrone. Contrairement aux conventions du cinéma muet, les premiers cartons n'annoncent ni les faits passés ni ceux immédiatement à venir mais l'ensemble de l'histoire. Qui plus est, ce condensé dramatique : fugue, chute dans le trou et retour rend fort peu compte du principal du film : des gestes, des rencontres problématiques et une forte parole, poétique, violente et délirante comme un grand rire face à toutes les valeurs civilisées..
En aout 1959, Fernand Deligny sollicite François Truffaut pour un long métrage documentaire, La Vraie Vie, "feuilleton, chronique précise" du travail éducatif qu’il mène dans les Cévennes auprès d’adolescents caractériels, débiles, rescapés de diverses institutions asilaires. "J’entends bien ne rien truquer, tout filmer, y compris mes interventions si je dois intervenir autrement qu’en tenant la caméra." Il demande au cinéaste, auquel il souffla la scène finale des 400 coups, caméra, pelliculle, magnétophone et un bon opérateur.
Truffaut ne répond pas et, en 1962, Deligny tourne Le moindre geste dans les Cévennes, vers Saint-Jean-du-Gard et à Veyrac, près d’Anduze. A partir d’un canevas minimaliste, d’ailleurs progressivement délaissé, le film s’invente au quotidien, en fonction de l’humeur du jour, des lieux choisis et du rapport qu’Yves, le personnage principal, entretient avec eux.
Pour Fernand Deligny, le thème est clair : "Deux adolescents s’évadent d’un lieu psychiatrique, l’un qui court devant et qui fugue comme il respire, et l’autre suit, débile mental un peu fou, peut-être d’avoir vécu parmi ceux-là qui le sont". La fable est avant tout prétexte à donner à voir une part d’Yves. Fils d’instituteurs grenoblois, considéré comme irrécupérable, inéducable, Yves Guignard avait été confié à Deligny vers 1956. Le moindre geste est moins un film sur lui qu’un projet pour lui, "pour continuer à le faire évoluer".
Deligny est-il rarement sur les lieux du tournage ? Si l’on en croit la légende "Pas toujours, mais souvent", comme en attestent les photos de tournage et le témoignage de Josée Manenti, qui accompagne Deligny depuis le milieu des années cinquante, ici en charge des images et du cadre : "Il ne s’occupait de rien, mais il était présent. De temps en temps, il donnait une idée. Sinon, il restait dans la voiture, s’occupait de ses trucs ou fumait une cigarette, et moi, j’étais avec Yves et ma caméra. Souvent, on partait le matin, on emmenait de quoi casser la croûte, on revenait le soir. On y passait nos journées. Parfois, comme il n’aimait pas la chaleur et préférait faire la sieste, il décidait de rester à la maison".
En 1965, le tournage s'arrête faute d’argent et il faudra attendre 1969-1970 pour que Jean-Pierre Daniel monte le film. C'est un jeune chef-opérateur marseillais sorti de l’IDHEC, influencé par Pierre Perrault et par le cinéma direct. Pendant dix-huit mois, il monte la matière muette en solitaire, en présence au début d’Anny Durand, l’une des protagonistes du film, ne rencontrant Deligny qu’à deux ou trois reprises.
En 1971, Le moindre geste est projetté à la Semaine de la Critique à Cannes. A la fin de la séance, seules deux personnes n’ont pas quitté la salle, une journaliste du Provençal et le cinéaste Alain Cavalier. Cité par le Prix Georges Sadoul, le film est ensuite présenté au festival d’Avignon et repris dans les "Journées des Cahiers du cinéma" aux côtés d’Othon et de Non réconciliés (Huillet-Straub), de L’homme à la caméra (Vertov) et de Vent d’est (Godard-Gorin).
A Aix-en-Provence et Marseille, des débats sont animés par Jacques Aumont, Pascal Bonitzer, Serge Daney. Néanmoins, Le moindre geste ne connaît pas de sortie commerciale, tôt condamné à ne circuler qu’à l’intérieur de circuits spécialisés.
En 1989, le film réapparaît, mais à la télévision, diffusé par la Sept dans le cadre d’une soirée consacrée à Deligny où passe également Fernand Deligny, à propos d’un film à faire, documentaire de Renaud Victor.
En 2002, le film est restauré et gonflé en 35 mm par les Archives du cinéma français (Bois d’Arcy) et Iskra (l’ex-SLON). Quarante ans après le début de son tournage. En 2004, Le moindre geste sort dans les salles françaises, distribué par Shellac.