9. Pourquoi un modèle peut-il se tromper avec assurance ?

Reprenons notre association fictive Passerelle. La note de départ indique qu’elle est passée de 27 à 41 bénévoles et qu’elle a organisé six ateliers gratuits cette année. Demandons maintenant :

Pourquoi le nombre de bénévoles a-t-il augmenté ?

Voici une réponse que nous pourrions imaginer :

Cette croissance s’explique par la campagne de recrutement menée sur les réseaux sociaux. Les six ateliers gratuits ont également renforcé la visibilité de l’association et attiré de nouveaux bénévoles.

La réponse est fluide. Elle reprend un chiffre exact, propose une explication cohérente et ne manifeste aucune hésitation. Pourtant, la note ne mentionne ni campagne de recrutement ni effet des ateliers sur les inscriptions. Le texte transforme une explication possible en fait établi.

Ce décalage est au cœur du chapitre : une réponse peut être bien formulée sans être bien fondée. Les exemples de Passerelle sont rédigés pour le cours ; ils ne représentent pas des résultats mesurés sur un modèle.

Nous reprenons notamment l’analogie de l’examen proposée par Kalai et ses collègues, puis présentée en français par Rachid Ghilal dans Pourquoi les modèles génératifs « hallucinent »-ils ?, publié le 5 octobre 2025. Nous la relierons au travail scientifique qu’il présente, en distinguant l’intuition pédagogique des hypothèses de la démonstration.

Une hallucination n’est pas une perception imaginaire

Dans le contexte des modèles de langage, une hallucination désigne généralement une information fausse ou non étayée, produite comme si elle était fondée. Il peut s’agir d’une date inventée, d’une citation inexistante, d’un fait contredisant un document ou d’un lien causal que les données ne permettent pas d’établir.

Le mot est une métaphore. Il ne suppose ni expérience perceptive humaine ni intention de tromper. Certains systèmes traitent aussi des images ou du son ; cela ne donne pas au terme le sens clinique qu’il possède chez une personne.

Les définitions varient selon les travaux. Certains réservent le terme aux affirmations factuellement fausses ; d’autres y incluent les ajouts qui ne sont pas justifiés par la source à résumer. Pour travailler correctement, il est plus utile d’identifier ce qui ne va pas que de débattre de l’étiquette.

Une réponse dans la mauvaise langue est un échec de suivi de consigne. Une division incorrecte est une erreur de calcul. Une référence inventée est une fabrication factuelle. Ces défauts peuvent se combiner, mais ne se vérifient pas tous de la même manière.

Faux et non établi ne veulent pas dire la même chose

Deux questions permettent de commencer l’examen d’une réponse :

Si un résumé de notre note annonce huit ateliers, il contredit les six ateliers indiqués. Si le résumé attribue l’augmentation à une campagne de recrutement, il ajoute une information absente. L’absence de preuve de cette campagne ne prouve pas qu’elle n’a pas eu lieu ; elle interdit simplement de la présenter comme une conclusion de la note.

La tâche compte aussi. Dans un récit explicitement fictif, inventer une campagne peut être approprié. Dans un compte rendu factuel, la même invention devient un défaut. Le problème n’est donc pas toute création de contenu, mais la présentation d’une invention ou d’une hypothèse comme un fait.

Produire une suite probable n’est pas vérifier un fait

Le chapitre sur la génération a montré comment le modèle calcule une distribution de probabilités pour les prochains tokens. Ces probabilités portent sur des suites de texte dans un contexte, pas directement sur la vérité d’une affirmation dans le monde.

Après une question commençant par « Pourquoi cette association a-t-elle grandi ? », une explication organisée autour de la communication, de la visibilité et du recrutement peut être une continuation plausible. Cela ne constitue pas une preuve que ces mécanismes expliquent le cas de Passerelle.

Le préentraînement permet pourtant d’apprendre de nombreuses informations factuelles, en plus de la langue et des régularités de raisonnement. Dire qu’un modèle prédit des tokens ne revient donc pas à dire qu’il ne peut rien apprendre sur le monde. Apprendre des faits et vérifier chaque fait au moment de répondre sont deux opérations différentes.

Une phrase bien construite peut résulter de connaissances exactes, d’une combinaison erronée de connaissances ou d’un prolongement plausible là où l’information manque. Le style de la phrase ne permet pas, à lui seul, de départager ces cas. Microsoft rappelle cette possibilité de réponses assurées mais incorrectes dans LLM Fundamentals.

Pourquoi des données exactes ne suffisent pas

Imaginons que le modèle ait rencontré de nombreux textes exacts expliquant comment des associations recrutent. Ces exemples peuvent l’aider à proposer des stratégies pertinentes. Ils ne lui donnent pas pour autant l’historique particulier de Passerelle.

La généralisation consiste à utiliser ce qui a été appris au-delà des exemples rencontrés. Elle rend le modèle utile, mais n’assure pas que toute combinaison nouvelle soit correcte. Deux informations exactes prises séparément peuvent être reliées à tort : six ateliers ont eu lieu et le nombre de bénévoles a augmenté ; cela ne démontre pas que les ateliers ont causé l’augmentation.

Certaines informations se déduisent ; d’autres doivent être connues ou retrouvées. Avec les nombres 27 et 41, nous pouvons calculer une différence de 14. En revanche, nous ne pouvons pas déduire la date de création de l’association à partir de son effectif. Une date précise exige une source appropriée.

Les faits rares et arbitraires sont particulièrement difficiles à généraliser : connaître les dates de création de nombreuses associations ne détermine pas celle d’une association particulière. Un fait rencontré une seule fois peut néanmoins être mémorisé. La rareté ne permet pas d’attribuer automatiquement une probabilité d’erreur à chaque réponse.

Ce que montre la recherche sur l’origine des erreurs

Dans Why Language Models Hallucinate, publié initialement le 4 septembre 2025, Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala et Edwin Zhang analysent les erreurs au cours du préentraînement, puis leur persistance après le postentraînement.

Une version de ce travail a été publiée dans Nature en 2026 sous le titre Evaluating large language models for accuracy incentivizes hallucinations. Les renvois aux sections de la prépublication restent ici liés à la version de septembre 2025, sur laquelle s’appuie l’article de Rachid Ghilal.

Pour étudier la génération, ils établissent un lien mathématique avec une tâche de classification : distinguer des exemples valides d’exemples erronés. Dans leur cadre formel, les difficultés de cette tâche permettent d’établir des limites mathématiques, appelées bornes, sur les erreurs de génération. Ces résultats s’appliquent même en supposant des données d’entraînement exactes.

Attention à l’interprétation : ce lien n’implique pas qu’un « juge interne » séparé vérifie la vérité de chaque token. C’est une construction utilisée dans la démonstration. Les bornes dépendent également d’hypothèses et de distributions précises ; elles ne fournissent pas une formule universelle pour calculer le taux d’hallucination de n’importe quel assistant.

Le point à retenir est plus simple : un corpus exact ne garantit pas des générations toujours exactes. Cela ne signifie pas qu’un système doit inventer chaque réponse qu’il ignore. Il peut aussi s’abstenir, demander une précision ou rechercher une information. Le choix entre ces comportements nous amène à la manière dont les modèles sont entraînés et évalués.

Pourquoi l’assurance peut-elle accompagner l’erreur ?

L’assurance est d’abord une propriété de la formulation. « Cette croissance s’explique par… » présente une conclusion. « Une explication possible serait… » présente une hypothèse. Ces deux styles peuvent être appris à partir d’exemples.

Un entraînement comprenant des réponses directes, complètes et assurées peut favoriser ce style, y compris dans des situations où l’information disponible est insuffisante. Karpathy illustre cette difficulté à partir de 1 h 21 min 13 s : reproduire la forme d’une réponse experte ne garantit pas de disposer des faits nécessaires.

Cela n’explique pas toutes les erreurs. Les données apprises peuvent être inexactes ou dépassées ; une source peut être mal interprétée ; une inférence peut être fausse. Mais le mécanisme aide à comprendre pourquoi ces erreurs ne s’accompagnent pas nécessairement d’une hésitation visible.

L’analogie de l’examen

Votre examen comporte une question à quatre choix, avec une seule bonne réponse. Vous n’avez aucune information permettant de choisir. Le barème attribue un point à une réponse correcte, zéro à une erreur et zéro à une absence de réponse.

En choisissant au hasard, vous avez une chance sur quatre de gagner un point. Votre gain moyen attendu est donc de 0,25 point. En vous abstenant, vous obtenez toujours zéro. Ce barème favorise une tentative, même sans connaissance.

L’exemple est fictif, mais il expose le mécanisme présenté dans l’article de Rachid Ghilal. Kalai et ses collègues montrent que des évaluations notées ainsi peuvent favoriser les réponses hasardeuses par rapport à l’expression d’une incertitude. Leur analyse du postentraînement porte sur ces incitations.

Un classement ne modifie pas spontanément les paramètres d’un modèle. L’effet passe par les choix de développement : quels comportements l’entraînement récompense, quels modèles sont sélectionnés et quels scores sont considérés comme des progrès. Il ne s’agit pas d’un assistant qui décide consciemment de tricher à un examen.

Mieux évaluer ne consiste pas à tout refuser

Changer le barème peut rendre l’abstention préférable à une supposition trop risquée. Mais un système qui répondrait toujours « je ne sais pas » serait peu utile. Il faut évaluer conjointement la justesse de ses réponses, les erreurs commises et les questions auxquelles il s’abstient de répondre.

Le postentraînement peut justement apprendre au modèle à exprimer une incertitude ou à demander une précision. Karpathy décrit cette possibilité à partir de 1 h 25 min 50 s. Il serait donc incorrect d’affirmer que tout postentraînement renforce nécessairement les hallucinations.

L’objectif n’est ni l’assurance permanente ni le doute systématique : c’est une réponse dont la portée correspond aux éléments disponibles.

« Je suis sûr à 95 % » n’est pas une mesure suffisante

Si vous demandez un niveau de confiance, le modèle peut produire un pourcentage. Ce nombre fait alors partie de la réponse générée. Sans évaluation supplémentaire, il ne constitue pas une mesure validée de la probabilité que l’affirmation soit exacte.

Il faut distinguer trois choses :

Une formulation très probable n’est pas nécessairement vraie. Et une réponse vraie peut être exprimée de plusieurs façons : la probabilité d’une suite précise de tokens ne représente pas directement celle de toutes les formulations correctes possibles.

On parle de calibration lorsqu’un niveau de confiance correspond, sur un ensemble de cas, à la fréquence de réussite observée. Par exemple, parmi de nombreuses réponses annoncées fiables à 80 %, environ huit sur dix devraient être correctes si ces estimations sont bien calibrées sur les cas évalués.

Cette propriété se mesure sur des réponses dont on peut établir la justesse. Elle ne se démontre pas en demandant simplement « es-tu certain ? ». Même une bonne calibration sur un ensemble de tâches ne garantit ni chaque réponse individuelle ni le même résultat sur un autre domaine.

Répondre utilement quand une information manque

Revenons à la question : « Pourquoi le nombre de bénévoles de Passerelle a-t-il augmenté ? » Une réponse prudente ne doit pas forcément s’arrêter à « je ne sais pas ».

Elle peut séparer ce qui est établi, ce qui reste inconnu et ce qui permettrait d’avancer :

La note indique une hausse de 27 à 41 bénévoles, soit 14 personnes supplémentaires. Elle n’en précise pas les causes. Pour les étudier, il faudrait notamment connaître les actions de recrutement et les raisons données par les nouveaux bénévoles. La visibilité des ateliers serait une piste à examiner, pas une conclusion de la note.

La réponse reste utile : elle exploite les données, limite sa conclusion et précise ce qu’il manque. Elle ne transforme pas l’absence d’information en récit explicatif.

La question peut elle-même contenir une hypothèse non vérifiée :

Comment la campagne sur les réseaux sociaux a-t-elle permis à Passerelle d’attirer 14 bénévoles supplémentaires ?

Cette formulation suppose déjà que la campagne a existé et qu’elle a eu un effet. Un modèle peut poursuivre cette prémisse au lieu de la remettre en question. Une réponse adaptée doit signaler que la note ne permet pas de l’établir, avant de proposer une analyse conditionnelle.

Une consigne comme « distingue les faits fournis, tes déductions et les informations manquantes » aide à exprimer cette attente. Elle ne crée cependant pas un contrôle automatique de vérité : le résultat doit encore être examiné.

Vérifier une réponse, affirmation par affirmation

Une réponse n’est pas toujours entièrement vraie ou entièrement fausse. L’introduction peut être exacte, le calcul correct et l’explication causale inventée. Il faut donc examiner les affirmations importantes séparément.

Pour Passerelle, « 41 bénévoles » se compare à la note. « 14 de plus » se vérifie par soustraction. « Grâce à une campagne » demande des éléments supplémentaires sur le recrutement. Une seule lecture de l’ensemble, guidée par l’impression de cohérence, risque de manquer cette différence.

Une référence peut elle aussi être générée

Un nom d’auteur, un titre, une année et un lien donnent à une affirmation l’apparence d’une information documentée. Un modèle peut pourtant composer une référence inexistante ou attribuer à une publication réelle une conclusion qu’elle ne contient pas.

La vérification comporte donc deux étapes : retrouver la source, puis vérifier qu’elle soutient l’affirmation. Une page accessible ne suffit pas. Il faut examiner le passage pertinent, sa date, le périmètre de l’étude et les limites indiquées.

Dans notre exemple fictif, une étude générale montrant que certaines associations recrutent grâce aux réseaux sociaux ne prouverait pas que Passerelle a suivi ce parcours. La source peut être authentique et pertinente pour une hypothèse, sans constituer une preuve du cas particulier.

Choisir une vérification adaptée

Une relecture de la source convient à un résumé. Un calcul indépendant convient à une différence ou à un pourcentage. Pour une information actuelle, il faut une source datée et pertinente. Pour une affirmation spécialisée aux conséquences importantes, une vérification par une personne compétente peut être nécessaire.

La bonne question n’est donc pas seulement « le modèle peut-il se tromper ? », mais « qu’est-ce qui me permettrait de détecter une erreur ici, avant de réutiliser cette réponse ? ».

Ce qui aide sans garantir l’exactitude

Les chapitres précédents permettent d’écarter plusieurs raccourcis. Une génération peu aléatoire peut répéter une erreur de manière stable. Une réponse plus longue peut développer une prémisse fausse. Plusieurs réponses identiques ne sont pas nécessairement des confirmations indépendantes : elles peuvent reproduire la même erreur apprise.

Demander une autocritique peut faire apparaître une incohérence, mais le même modèle peut aussi confirmer son erreur. Ces méthodes sont des aides, pas des remplacements de la vérification.

Fournir un document ou utiliser une recherche peut apporter l’information qui manquait. Cela ne garantit ni la qualité du document ni son interprétation correcte. Karpathy décrit cet apport d’informations externes à partir de 1 h 32 min 27 s. Le chapitre suivant examinera ce mécanisme en détail.

Exercice : séparer le fait, la déduction et l’hypothèse

Voici la note complète utilisée dans le cours :

L’association Passerelle organise des ateliers d’entraide entre étudiants. Elle comptait 27 bénévoles l’an dernier et en compte 41 cette année. Elle a organisé six ateliers cette année. La participation aux ateliers est gratuite.

Un résumé pédagogique volontairement défectueux propose :

Passerelle compte 41 bénévoles, soit 14 de plus que l’an dernier. Cette hausse résulte d’une campagne sur les réseaux sociaux. L’association a organisé huit ateliers gratuits cette année et devrait donc doubler son effectif l’an prochain.

Avant de lire la correction, repérez les affirmations exactes, celles que l’on peut calculer, celles qui contredisent la note et celles qui demanderaient d’autres informations.

Correction commentée

« 41 bénévoles » est directement fourni. « 14 de plus » est une déduction vérifiable : 41 moins 27. La campagne sur les réseaux sociaux n’est pas documentée. « Huit ateliers » contredit les six indiqués, même si leur gratuité est correcte. Enfin, la prévision d’un doublement l’an prochain ne découle pas des informations disponibles.

Une correction suffisante serait :

Passerelle compte 41 bénévoles, contre 27 l’an dernier, soit une augmentation de 14. L’association a organisé six ateliers gratuits cette année. La note ne précise pas les causes de cette progression ni les perspectives d’effectif pour l’année prochaine.

Cette version ne dit pas que la campagne est impossible ou que l’effectif ne doublera pas. Elle distingue simplement ce que la source permet d’affirmer de ce qu’elle laisse ouvert.

Vérifier votre compréhension

1. Pourquoi une suite de texte probable n’est-elle pas nécessairement une affirmation vraie ?
2. Quelle différence faites-vous entre une information fausse et une information non étayée par le document fourni ?
3. Dans l’examen à quatre choix, pourquoi le barème favorise-t-il une supposition ? Comment cette analogie éclaire-t-elle les choix d’évaluation des modèles ?
4. Pourquoi le lien théorique entre génération et classification ne prouve-t-il pas l’existence d’un « juge interne » vérifiant chaque réponse ?
5. Que faudrait-il mesurer pour savoir si des pourcentages de confiance sont bien calibrés ?
6. Quelles sont les deux vérifications nécessaires lorsqu’une réponse cite une publication ?

Le repère à conserver est le suivant : l’assurance appartient à la formulation ; la fiabilité doit être établie par la vérification. Un modèle peut fournir une aide réelle sans que chacune de ses affirmations soit correcte. Savoir distinguer faits, déductions, hypothèses et informations manquantes permet d’utiliser cette aide avec discernement.

La prochaine question : que changent les documents et les outils ?

Si une information manque au modèle, une application peut chercher une source, fournir un document ou exécuter un calcul. Que se passe-t-il alors entre l’outil, le contexte et la réponse ?

Le prochain chapitre expliquera ce que ces ajouts permettent de vérifier, et les erreurs qu’ils ne font pas disparaître.

Chapitre précédent : Que signifie « raisonner » pour un modèle ?

Chapitre suivant : Que changent les documents, la recherche et les outils ?

Revenir au sommaire de la formation