11. Comment formuler une demande et évaluer la réponse ?

Vous devez présenter l’activité de Passerelle à des étudiants qui ne connaissent pas l’association. Vous ouvrez un assistant et écrivez :

Fais une bonne analyse de Passerelle.

La demande semble compréhensible. Pourtant, elle laisse plusieurs choix ouverts : quelle activité faut-il analyser, à partir de quelles informations, pour quel public et dans quel but ? Le modèle peut produire un texte fluide en comblant ces espaces, sans que ses choix correspondent aux vôtres.

Les chapitres précédents permettent maintenant de comprendre ce problème. Le modèle construit une réponse à partir de ce qui lui est disponible ; il ne connaît pas automatiquement votre intention, vos documents ou les critères de votre travail. Préciser ces éléments peut l’aider. Cela ne suffit toutefois pas à rendre sa réponse exacte.

Ce dernier chapitre réunit les notions du cours dans une démarche complète : définir le résultat attendu, préparer les informations, formuler la demande, puis vérifier la réponse avant de l’utiliser. Tous les documents et les réponses de Passerelle présentés ici sont fictifs et rédigés pour l’apprentissage. Ce ne sont pas les résultats d’un test effectué sur un modèle.

Commencer par le travail à accomplir

Avant de chercher une « bonne formule », demandez-vous ce que vous devez obtenir. Résumer un document, expliquer une notion, comparer des hypothèses et recommander une décision ne sont pas la même tâche.

Pour Passerelle, notre besoin sera précis : préparer une courte synthèse qui présente l’évolution des effectifs et explique ce que les sources permettent de dire sur cette évolution. Nous ne cherchons ni un texte publicitaire ni une démonstration de l’efficacité des ateliers.

Cette précision change le travail demandé. Une synthèse doit sélectionner et reformuler des éléments du dossier. Une recommandation demanderait aussi des critères de choix et, probablement, des informations supplémentaires. Si nous mélangeons les deux sans le dire, une suggestion plausible risque d’être présentée comme une conclusion du rapport.

Définir ce qui rendrait la réponse acceptable

Une réponse peut être agréable à lire et échouer sur l’essentiel. Pour notre synthèse, nous attendons d’abord des effectifs exacts, un taux d’augmentation correctement calculé et une interprétation qui respecte les limites des documents. La longueur et le ton comptent aussi, mais une belle formulation ne compense pas une cause inventée.

Définir ces critères avant de lire la réponse aide à ne pas confondre satisfaction immédiate et qualité du résultat. La documentation d’Anthropic sur les critères de réussite et l’évaluation recommande également de partir de critères précis, observables et adaptés à la tâche. Pour notre exercice, une courte grille suffit ; nous n’avons pas besoin d’un dispositif technique d’évaluation.

Le niveau d’exigence dépend de l’usage. Une liste d’idées à explorer n’appelle pas le même contrôle qu’un chiffre destiné à être publié. Il faut donc préciser non seulement ce que la réponse doit contenir, mais aussi ce que vous comptez en faire.

Préparer les informations que le modèle pourra utiliser

Reprenons nos deux sources fictives :

Source A — Note d’activité : l’association Passerelle organise des ateliers d’entraide entre étudiants. Elle comptait 27 bénévoles l’an dernier et en compte 41 cette année. Elle a organisé six ateliers cette année. La participation aux ateliers est gratuite.

Source B — Rapport de recrutement, section « Entretiens d’accueil » : plusieurs nouveaux bénévoles déclarent avoir découvert l’association pendant les ateliers. Aucun questionnaire systématique sur les motifs d’inscription n’a été réalisé.

Nous disposons des effectifs, d’une indication sur l’activité et de déclarations sur la découverte de l’association. Nous ne disposons pas d’une mesure de l’effet des ateliers sur le recrutement. Cette limite doit orienter la demande : on ne peut pas exiger du modèle une conclusion que les documents ne permettent pas d’établir.

Fournir les textes est plus utile que donner seulement leur titre. Dans sa démonstration du résumé d’un chapitre de roman, à partir de 1 h 40 min 15 s, Karpathy illustre l’intérêt de rendre le contenu disponible plutôt que de compter uniquement sur les connaissances apprises du modèle. Cela permet aussi de comparer la réponse avec une source déterminée.

Pour un travail réel, vérifiez la version, la date et le périmètre des documents. Un extrait peut être exact tout en étant dépassé ou incomplet. Si deux documents se contredisent, présentez cette contradiction au lieu de laisser le modèle choisir silencieusement celui qui l’arrange.

Avant de joindre des données personnelles ou confidentielles, vérifiez que leur transmission au service est autorisée. Pour vous exercer, utilisez les données fictives de ce chapitre. Retirer les noms ne suffit pas toujours à rendre un document anonyme.

Choisir les ressources nécessaires, sans tout ajouter

Notre dossier tient dans quelques paragraphes. Il n’exige pas de recherche sur le Web. Une calculatrice suffit à vérifier le taux d’augmentation. Dans un autre travail, une recherche serait nécessaire pour obtenir une information récente ; encore faudrait-il contrôler la source retrouvée.

Comme nous l’avons vu au chapitre précédent, demander « consulte le rapport » ne donne pas accès à ce rapport. Vérifiez que le fichier ou l’outil est réellement disponible dans l’application. Plus de documents ou plus d’outils ne signifie pas automatiquement une meilleure réponse : leur utilité dépend de la question.

Formuler une demande qui laisse moins de place aux suppositions

Dans ce chapitre, nous appelons prompt le message par lequel vous formulez votre demande. Comme nous l’avons vu au chapitre 6, ce message peut ne constituer qu’une partie du contexte fourni au modèle.

Vous n’avez pas besoin d’un vocabulaire technique particulier pour écrire ce message. Le point important est de rendre explicites les choix qui influencent le résultat.

Pour un travail sur documents, quatre éléments sont souvent utiles : la tâche, les sources, les limites à respecter et la forme attendue. Ce n’est pas un formulaire obligatoire. « Traduis cette phrase en français » peut suffire pour une tâche simple ; une comparaison de rapports exige davantage de précisions.

Microsoft distingue notamment les instructions, le contenu à traiter et les informations de contexte dans sa présentation des composantes d’un prompt. Nous retenons ici cette distinction pour organiser la demande. La page avertit que les techniques qu’elle présente ne sont pas recommandées pour les modèles de raisonnement tels que GPT-5 et les modèles de la série o. Cet avertissement n’interdit pas de formuler une demande claire ou de fournir des sources ; il invite à ne pas transposer tout ce guide à n’importe quel modèle.

Séparer la consigne du document

Des intitulés simples comme « Tâche », « Sources » et « Résultat attendu » facilitent la lecture. Ils permettent notamment de distinguer une phrase à analyser d’une instruction que vous adressez au modèle.

Cette séparation est un repère, pas une protection absolue. Écrire qu’un document doit être traité comme une source ne garantit pas que toutes les instructions qu’il contient seront ignorées. Les contrôles d’accès et d’exécution restent la responsabilité de l’application, pas celle d’une formule ajoutée au prompt.

Préciser les limites autant que le format

« N’invente rien » exprime une attente, mais ne décrit pas toujours quoi faire lorsqu’une information manque. Une demande plus utile précise le comportement attendu : signaler l’absence, distinguer une hypothèse d’un constat ou demander une clarification.

Il faut aussi éviter les consignes contradictoires. Demander une conclusion certaine « uniquement à partir des sources » tout en exigeant une explication absente de ces sources place le modèle devant des attentes incompatibles. Mieux vaut autoriser explicitement une conclusion limitée.

Le format doit servir l’usage : quelques phrases pour une présentation, un tableau pour comparer les mêmes critères ou une formule pour contrôler un calcul. Il ne faut pas demander une longue justification lorsque trois valeurs et une opération suffisent à vérifier le résultat.

Un rôle ou un exemple peut guider la forme, pas garantir l’expertise

Une consigne comme « explique pour un étudiant débutant » indique un public et un niveau de langage. « Tu es le meilleur expert du monde » n’apporte ni source supplémentaire ni compétence certifiée. Le rôle demandé peut orienter la réponse ; il ne prouve pas sa qualité.

Lorsque le format attendu est difficile à décrire, un exemple peut aider. On peut montrer une ligne fictive de tableau, puis demander de suivre la même structure avec d’autres données. Fournir quelques exemples dans le contexte est souvent appelé few-shot prompting. Ce n’est pas un nouvel entraînement des paramètres du modèle.

Choisissez alors un exemple exact, clairement séparé des données à traiter. Sinon, le modèle peut reprendre un chiffre ou une conclusion qui ne s’applique pas au nouveau cas. Un exemple utile précise une attente ; il ne remplace pas l’évaluation de la réponse.

Une demande complète pour Passerelle

Voici une demande possible. Elle n’est ni une formule optimale ni une garantie : elle explicite notre besoin et rend le résultat vérifiable. Les repères [A] et [B] renvoient aux deux textes fournis, pas à des références externes.

Tâche

Prépare une synthèse de l’activité de Passerelle pour des étudiants qui ne connaissent pas l’association. Présente l’évolution du nombre de bénévoles et ce que les documents permettent de dire sur les raisons de cette évolution.

Sources à utiliser

[A] Note d’activité : Passerelle organise des ateliers d’entraide entre étudiants. Elle comptait 27 bénévoles l’an dernier et en compte 41 cette année. Elle a organisé six ateliers cette année. La participation aux ateliers est gratuite.

[B] Rapport de recrutement, section « Entretiens d’accueil » : plusieurs nouveaux bénévoles déclarent avoir découvert l’association pendant les ateliers. Aucun questionnaire systématique sur les motifs d’inscription n’a été réalisé.

Limites

Utilise uniquement ces sources pour les faits relatifs à Passerelle. Distingue les constats de ce qui n’est pas établi. Si les documents ne permettent pas d’expliquer toute l’évolution des effectifs, indique-le. N’ajoute pas de campagne, de projet futur ou de cause non documentée.

Résultat attendu

Rédige une synthèse neutre de 120 mots maximum. Utilise [A] ou [B] pour repérer les sources des affirmations. Après la synthèse, indique séparément le calcul du taux d’augmentation, avec sa valeur de référence et un résultat arrondi à une décimale.

La demande peut encore échouer : mauvais calcul, réserve oubliée, source mal associée. Mais nous savons maintenant quoi examiner. Nous avons défini la tâche sans exiger de conclusion prédéterminée et fourni les informations nécessaires pour la réaliser.

Évaluer la réponse sur des éléments observables

La première lecture sert à comprendre la réponse. La seconde sert à la contrôler. Pour Passerelle, nous pouvons utiliser cette grille :

Ces critères ne se compensent pas tous. Un calcul faux reste un défaut à corriger, même si le texte est clair et respecte la limite de mots. À l’inverse, une différence de style entre deux réponses n’est pas nécessairement une erreur.

Examiner les affirmations, pas seulement l’impression générale

Considérons cette réponse volontairement incorrecte :

Grâce à une campagne sur les réseaux sociaux et à ses six ateliers gratuits, Passerelle a doublé ses effectifs. L’association a recruté exactement 14 nouveaux bénévoles. Cette réussite démontre que les ateliers sont la principale cause de la hausse. [A][B]

Les deux repères à la fin ne rendent pas le texte fiable. La campagne n’apparaît dans aucune source. Passer de 27 à 41 n’est pas doubler ses effectifs. Une différence de 14 correspond à une augmentation nette : elle ne donne pas le nombre exact d’arrivées, car nous ignorons les départs. Enfin, le rapport ne mesure pas la contribution des ateliers à cette hausse.

Chaque défaut se vérifie indépendamment du ton assuré. Il faut revenir aux documents pour les affirmations et à une opération explicite pour le calcul. Demander simplement « es-tu certain ? » peut produire une nouvelle affirmation de certitude, pas une preuve.

Vérifier un calcul et ses hypothèses

La différence est 41 − 27 = 14. Pour mesurer l’augmentation relative depuis l’an dernier, la valeur de référence est l’effectif initial :

Taux d’augmentation = (41 − 27) ÷ 27 × 100 ≈ 51,9 %.

Une calculatrice permet de contrôler l’arithmétique. Elle ne choisit pas à notre place la valeur de référence ni la signification du taux. Une opération correctement exécutée avec 41 au dénominateur ne répondrait pas à la même question.

Demander la formule, les données utilisées et les hypothèses rend donc le résultat contrôlable. Cela n’exige pas de demander au modèle son « raisonnement intérieur » complet : comme expliqué au chapitre sur le raisonnement, une explication générée n’est pas nécessairement un compte rendu fidèle des mécanismes internes.

Ne pas déléguer toute la vérification au même assistant

L’assistant peut aider à repérer une omission ou à comparer son texte avec une source. Cette relecture reste une production du modèle, qui peut conserver ou introduire des erreurs. Faire approuver une réponse par un autre modèle n’en fait pas non plus une preuve : les deux peuvent échouer sur le même point.

Pour les éléments importants, cherchez un appui indépendant de la réponse : document original, calcul reproductible, observation ou personne compétente selon le domaine. Dans la conclusion de sa présentation, à partir de 3 h 30 min 40 s, Karpathy souligne lui aussi la nécessité de vérifier les productions de ces outils malgré leurs progrès.

Corriger un défaut précis, puis vérifier la nouvelle version

Après avoir identifié une erreur, il est plus utile de la nommer que de demander « fais mieux ». Pour notre réponse incorrecte, une relance pourrait être :

La campagne sur les réseaux sociaux n’est pas mentionnée dans les sources. Les effectifs ne doublent pas, et la hausse nette ne donne pas le nombre exact de nouveaux inscrits. Le rapport ne permet pas non plus d’affirmer que les ateliers sont la principale cause de la hausse ni de mesurer leur contribution. Réécris la synthèse en corrigeant ces points, sans ajouter d’autre fait, puis présente le calcul demandé séparément.

Cette relance s’appuie sur des vérifications déjà faites. Elle ne demande pas au modèle de deviner ce qui nous déplaît. Une proposition de synthèse conforme serait :

Passerelle organise des ateliers d’entraide entre étudiants. Son effectif est passé de 27 à 41 bénévoles, soit une hausse nette de 14 personnes, ou environ 51,9 %. Six ateliers gratuits ont eu lieu cette année. [A] Plusieurs nouveaux bénévoles déclarent avoir découvert l’association pendant ces ateliers. Toutefois, aucun questionnaire systématique sur les motifs d’inscription n’a été réalisé. Ces déclarations ne permettent donc pas de mesurer la contribution des ateliers à la hausse des effectifs ni d’en expliquer l’ensemble. [B]

Le calcul peut ensuite être présenté séparément, comme ci-dessus. Cette proposition est rédigée pour l’exercice : elle montre le résultat attendu, sans prétendre qu’un modèle l’obtiendra nécessairement.

Une correction ne dispense pas d’une nouvelle lecture. Le modèle pourrait réparer un chiffre tout en supprimant une réserve importante. Il faut vérifier les critères essentiels sur la version finale, pas seulement regarder si la phrase contestée a changé.

Si le problème vient d’une information absente, reformuler indéfiniment n’est pas la solution. Il faut obtenir la source manquante, poser une question à la personne concernée ou accepter une réponse plus limitée. Dans une conversation longue ou devenue contradictoire, il peut aussi être utile de repartir d’une demande propre avec les sources nécessaires, plutôt que d’empiler des corrections dont la portée devient incertaine.

Pour réutiliser une demande, tester aussi ses limites

Un prompt qui fonctionne une fois avec Passerelle n’est pas automatiquement fiable pour toute association. Il peut dépendre de la simplicité du dossier, d’une formulation particulière ou d’un résultat favorable parmi plusieurs générations.

Si vous comptez le réutiliser, conservez quelques cas représentatifs : un dossier complet, un dossier avec une information absente et un dossier contenant des données contradictoires. Définissez à l’avance ce qui constituerait une réponse acceptable dans chacun. Pour une contradiction non résolue, signaler le problème peut être préférable à produire un chiffre unique.

Comparez les versions de la demande sur les mêmes cas, dans des conditions aussi comparables que possible. Notez le modèle, les documents et les outils disponibles. Si vous changez tout en même temps, vous ne saurez pas à quoi attribuer une amélioration. Examinez aussi les échecs ; ne retenez pas seulement la réponse qui vous plaît le plus.

Microsoft rappelle dans ses conseils sur l’évaluation des prompts qu’une réussite dans une situation ne garantit pas une généralisation. Quelques essais permettent de découvrir des défauts, pas de démontrer une fiabilité universelle ni d’estimer sérieusement un taux d’erreur.

Cette démarche peut rester légère : une demande enregistrée, quelques exemples et une grille de contrôle. Pour un usage régulier à conséquences importantes, il faudra une évaluation adaptée à cet usage ; allonger le prompt n’en tient pas lieu.

Exercice final : adapter la demande sans transporter l’ancienne réponse

Travaillez d’abord sur papier ou dans votre éditeur. Si vous utilisez un assistant, ne lui transmettez que les données fictives de l’exercice.

Voici une variante indépendante du dossier. Elle remplace les sources précédentes pour cet exercice :

Nouvelle source A : Passerelle comptait 27 bénévoles l’an dernier et en compte 35 cette année. Elle a organisé six ateliers gratuits. Aucun document sur les motifs d’inscription n’est fourni.

Adaptez la demande complète à cette variante, puis déterminez ce que vous devrez vérifier dans la réponse. Attention : le rapport B et l’effectif de 41 ne font plus partie du dossier.

Une manière de traiter l’exercice

La demande doit fournir la nouvelle source, conserver l’objectif de synthèse et préciser que les causes de l’évolution ne sont pas documentées. Elle ne doit plus demander de s’appuyer sur le rapport B. Si vous repartez dans la même conversation, indiquez explicitement que ce dossier remplace le précédent ; une nouvelle conversation contenant seulement la variante permet d’éviter ce mélange dans l’historique fourni.

La réponse doit annoncer une hausse nette de 8 bénévoles, soit (35 − 27) ÷ 27 × 100 ≈ 29,6 %. Elle peut mentionner les six ateliers gratuits, mais pas affirmer que des bénévoles déclarent y avoir découvert l’association : cette information appartenait à la source retirée.

Une synthèse possible serait :

L’effectif de Passerelle est passé de 27 à 35 bénévoles, soit une hausse nette de 8 personnes, ou environ 29,6 %. L’association a organisé six ateliers gratuits. Le document fourni ne permet pas d’expliquer les raisons de l’évolution des effectifs. [A]

Le calcul et la limite doivent tous deux être corrects. Conserver 51,9 % serait une erreur de données ; conserver l’explication issue du rapport B serait une utilisation d’informations exclues du dossier. L’exercice vérifie ainsi autre chose que la capacité à reproduire le format du premier exemple.

Décider ce que l’on peut réellement utiliser

Au terme de la vérification, plusieurs issues sont possibles. La réponse peut être utilisable pour l’objectif fixé, nécessiter une correction précise, demander des informations supplémentaires ou rester trop incertaine pour être reprise. Reconnaître cette dernière situation est un résultat utile, pas un échec de formulation.

Pour une synthèse de document, vérifier signifie d’abord contrôler la fidélité au document. Si cette synthèse doit soutenir une décision réelle, il faut aussi se demander si le document lui-même est fiable et suffisant. Une réponse fidèle à une source erronée peut rester fausse.

Les onze chapitres conduisent à cette distinction. Les paramètres du modèle portent les régularités apprises ; le contexte apporte les éléments de la demande ; la génération construit une réponse ; les documents et les outils peuvent ajouter des informations ou exécuter des opérations. Aucun de ces mécanismes, pris seul, ne garantit que le résultat convient à votre situation.

Bien utiliser un modèle, ce n’est donc pas trouver une phrase qui le rend infaillible. C’est organiser un travail dans lequel la demande est claire, les informations sont adaptées et la réponse peut être contrôlée. Vous pouvez ainsi profiter de son aide pour apprendre, explorer et produire, tout en gardant la responsabilité de ce que vous retenez.

Chapitre précédent : Que changent les documents, la recherche et les outils ?

Revenir au sommaire de la formation