Grégoire Beaujour, le héros du livre, a une faille bien particulière : il ne sait pas dire non. Non seulement il ne sait pas dire non à toute requête ou proposition venant des autres, ce qui pourrait être pris comme gage de gentillesse et de totale disponibilité, mais son point faible est pris au pied de la lettre : il est incapable de prononcer la syllabe "non", butant sur le mot perdu il ne sait comment, un mot pourtant essentiel dans la vie de tous les jours. Ne pouvant dire non, il lui est impossible de refuser quoi que ce soit.
Alors il trouve des astuces pour pallier ce manque et les scènes cocasses s'ajoutent les unes aux autres : il ne peut refuser le nième café que lui proposent ses collègues dans la même journée. Il se retrouve en train de poser une étagère chez un collègue à qui il n'a pu dire non. Et quand une histoire d'amour commence, répondre oui à chaque question de l'être aimé peut conduire à des situations pour le moins cocasses. Sans oublier que Beaujour travaille dans un institut de sondages et qu'il manipule les questions posées aux sondés pour éliminer le non dans les possibilités de réponse, ce qui va faire de lui le centre d'une manipulation imaginée par son patron : celui-ci va utiliser le savoir-faire de Beaujour au profit d'une entreprise qui veut délocaliser sa production avec l'assentiment de ses salariés…
Toujours à la recherche du mot perdu, il va se retrouver dans un atelier d'écriture, nommé "L'ouvroir des mots perdus", ce qui va lui permettre de remonter le fil de son histoire, cherchant le "vestige d'une mémoire inconnue" qui serait à l'origine de son point faible. Ces séances d'écriture permettront à Serge Joncour d'intercaler dans l'histoire de Beaujour des "broderies" qui remontent l'histoire de sa famille depuis les plus lointaines origines, jusqu'à ces dernières années. L'occasion pour Joncour de dénoncer une société de "moutons de Panurge" où les gens doivent toujours dire oui, où on doit être tous d’accord, où on doit toujours se montrer satisfait. On se trouve dans une civilisation du oui permanent, ayant perdu le sens de l'opposition : on a dit oui à toute forme de progrès, à la société de consommation, du toujours plus, qui promettait un avenir lumineux, la docilité devenant la règle. On aura compris que derrière l'humour et l'absurde se cache une fable politique et philosophique.