5. Comment le modèle apprend-il, puis devient-il un assistant ?

Le chapitre précédent suivait les calculs d’un modèle déjà entraîné. Ses paramètres permettaient de transformer des tokens en probabilités de continuation. Mais d’où viennent ces valeurs ? Personne n’a écrit à la main tous les coefficients nécessaires pour résumer la note de Passerelle.

L’entraînement consiste à ajuster des paramètres à partir de données et d’un objectif mesurable. Le modèle produit des résultats, un calcul évalue ces résultats selon l’objectif choisi, puis un algorithme modifie les paramètres. Cette opération est répétée sur de nombreux exemples.

Pour comprendre comment on obtient un assistant, il faut distinguer deux questions : comment apprendre des régularités à partir de textes, et comment orienter les réponses vers ce qu’un utilisateur attend ? Nous allons suivre un parcours courant pour un modèle causal de génération de texte. Ce n’est pas une recette obligatoire, identique pour tous les LLM.

Le préentraînement : apprendre à partir de textes

Le préentraînement est une première phase d’apprentissage à grande échelle. Un corpus — un ensemble de documents — fournit des textes variés : livres, articles, pages Web ou code, selon le modèle et les données retenues. Ces textes sont préparés, découpés en tokens et organisés en séquences utilisables pour l’entraînement.

Un corpus n’est pas « tout Internet ». Sa composition résulte de choix : quelles sources inclure, quelles langues représenter, quels doublons retirer, quels contenus filtrer ? Ces décisions influencent ce que le modèle rencontre souvent, rarement ou jamais. Une grande quantité de textes ne garantit ni leur exactitude ni une représentation équilibrée des sujets.

Lorsqu’on entraîne un modèle depuis le départ, une grande partie de ses paramètres reçoit des valeurs initiales aléatoires. Le réseau peut déjà effectuer les calculs du chapitre précédent, mais ses prédictions ne sont pas encore utiles. L’entraînement va modifier ces valeurs ; il ne va pas écrire une nouvelle règle de programmation pour chaque phrase.

Microsoft présente ce rôle du préentraînement dans LLM Fundamentals. Voyons maintenant comment un texte fournit une indication pour ajuster les paramètres.

Le texte contient lui-même la cible à prédire

Supposons qu’un corpus pédagogique contienne cette phrase :

Passerelle propose des ateliers gratuits.

Pour l’explication, nous supposons que le fragment ␠gratuits correspond à un seul token, où ␠ représente l’espace. Ce découpage est fictif, comme les probabilités qui vont suivre. Il ne décrit pas un tokeniseur ou un entraînement réel.

À une position donnée, le modèle reçoit les tokens correspondant à Passerelle propose des ateliers. Il calcule des probabilités pour le prochain token. Le système d’entraînement dispose, lui, du texte complet : la cible à cette position est le token représentant ␠gratuits.

Ce principe est appelé apprentissage auto-supervisé : le signal d’apprentissage est construit à partir des données elles-mêmes. Il n’est pas nécessaire qu’une personne étiquette séparément le prochain token de chaque passage. Cela ne signifie pas que les humains n’interviennent pas dans la collecte des données, leur préparation ou le choix de l’objectif.

Il faut surtout bien comprendre le mot « cible ». Le token attendu est celui qui figure dans cet exemple. Ce n’est pas nécessairement la seule suite acceptable en français. Et si le texte d’entraînement contient une erreur, la cible peut faire partie d’une affirmation fausse.

Karpathy montre ce passage du texte à la cible, puis à la mise à jour des paramètres, entre 18 min 11 s et 20 min 08 s.

Mesurer l’erreur, puis ajuster les paramètres

La perte mesure un objectif précis

Une fonction de perte, ou loss, transforme les prédictions et les cibles en une mesure numérique. Dans l’objectif classique de prédiction du prochain token, la pénalité est d’autant plus forte que le modèle attribue une faible probabilité au token réellement observé.

Comparons deux états fictifs du modèle sur notre exemple :

Même à 40 %, le token pourrait ne pas être celui que le modèle sélectionnerait lors d’une génération. La perte utilise sa probabilité, pas seulement un verdict binaire « token choisi correct ou incorrect ».

On combine ensuite les pertes de nombreuses positions pour mesurer l’objectif sur un ensemble d’exemples. Une perte plus faible indique une meilleure performance sur cet objectif et ces données. Elle ne signifie pas que le modèle obtient une meilleure note sur toutes les qualités d’un assistant : fiabilité factuelle, clarté ou respect d’une consigne.

Le gradient indique comment agir sur les paramètres

Il reste à déterminer comment modifier les paramètres. Le système calcule, pour chacun, comment une petite variation de sa valeur actuelle ferait varier la perte. Cet ensemble d’indications est appelé le gradient.

La rétropropagation, ou backpropagation, permet de calculer ces indications en remontant les opérations du réseau. Ce n’est pas le modèle qui relit sa phrase et réfléchit à son erreur : c’est un calcul sur les transformations numériques.

Un optimiseur utilise ensuite les gradients pour mettre à jour les paramètres. Dans la forme la plus simple, on les déplace dans une direction qui vise à réduire la perte. Le taux d’apprentissage règle l’amplitude de ces mises à jour. Les méthodes utilisées en pratique peuvent aussi tenir compte des mises à jour précédentes.

Les paramètres étant partagés entre de nombreux exemples, une modification peut influencer plusieurs comportements à la fois. On ne remplace pas une case « Passerelle = ateliers gratuits » dans un dictionnaire de faits. Les mises à jour cherchent à améliorer un objectif global ; elles ne garantissent pas une amélioration de chaque prédiction à chaque étape.

La documentation pédagogique de PyTorch sur les gradients et la rétropropagation donne le mécanisme mathématique derrière cette explication. Il n’est pas nécessaire d’en lire le code pour retenir la distinction : la perte mesure l’objectif, le gradient renseigne sur sa variation, et l’optimiseur ajuste les paramètres.

Pendant l’entraînement, on connaît déjà la suite

Au chapitre 3, le modèle générait un token, l’ajoutait au texte, puis calculait la suite. L’entraînement classique sur un corpus ne fonctionne pas exactement de cette manière.

Les tokens de référence sont déjà disponibles. Pour prédire chaque position, le modèle reçoit les tokens précédents du texte d’entraînement, plutôt que ses propres choix successifs. C’est le principe souvent appelé teacher forcing : utiliser la séquence de référence comme contexte d’apprentissage.

Le masque causal reste indispensable. Le système d’entraînement connaît la cible, mais le calcul qui la prédit ne doit pas y avoir accès. Plusieurs positions peuvent ainsi être traitées en parallèle sans donner à chacune la suite qu’elle doit prévoir.

On regroupe aussi plusieurs séquences dans un lot, ou batch. Le cycle devient :

Un lot de séquences issues du corpus
                 ↓
Prédictions aux positions retenues
                 ↓
Perte calculée à partir des cibles
                 ↓
Gradients, puis mise à jour des paramètres
                 ↓
Un autre lot de séquences

Ce schéma décrit une boucle d’apprentissage, pas une conversation avec un utilisateur. Le calcul des probabilités ressemble à celui utilisé en génération, mais l’entraînement ajoute une mesure d’erreur et une mise à jour des paramètres.

Apprendre des régularités ne garantit pas de tout retenir correctement

À force de prévoir des tokens dans des situations variées, le modèle peut apprendre des régularités grammaticales, des associations entre concepts et des structures utiles pour accomplir des tâches. Pour prévoir une suite, il peut être utile de relier un pronom à un nom ou un nombre à la bonne année.

L’objectif est que ces régularités servent aussi sur des exemples nouveaux. C’est la généralisation. Un modèle capable de résumer une note inédite sur une association n’a pas nécessairement rencontré cette association pendant l’entraînement.

Cela n’exclut pas la mémorisation : certains passages peuvent être retenus et parfois reproduits. Les paramètres ne constituent toutefois pas une bibliothèque consultable qui restituerait chaque document fidèlement, avec sa source. Généralisation et mémorisation peuvent coexister ; « tout copier » et « ne rien retenir des textes » sont deux descriptions trop absolues.

Pour évaluer la généralisation, on réserve des données qui ne servent pas aux mises à jour. Si les résultats s’améliorent seulement sur les exemples utilisés pour apprendre, on peut observer du surapprentissage : le modèle s’adapte trop à ces exemples et ne progresse pas de la même façon sur les autres. Les évaluations doivent aussi porter sur les usages attendus, pas uniquement sur la perte de prédiction.

À l’issue du préentraînement, on obtient un modèle de base. Il possède des capacités de génération, mais n’a pas nécessairement été entraîné à répondre de façon fiable dans le rôle d’un assistant.

Un modèle de base n’est pas encore un assistant fiable

Imaginez que vous écriviez : « Résume cette note en deux phrases. » Un modèle de base pourrait produire un résumé. Il pourrait aussi prolonger une liste d’exercices, inventer une autre question ou continuer un document dans lequel votre phrase semble s’insérer.

Ces possibilités sont illustratives, pas des réponses mesurées ici. Elles montrent la différence entre deux objectifs : poursuivre un texte plausible et exécuter une demande dans le rôle attendu.

Le postentraînement regroupe des étapes qui partent d’un modèle déjà préentraîné pour développer ou orienter ses capacités et ses comportements. Il peut améliorer le suivi des instructions, le format des réponses, la gestion de certaines demandes ou des compétences particulières. Il ne se réduit donc pas à ajouter de la politesse.

Le passage du modèle de base à l’assistant présenté par Karpathy à 59 min 40 s fournit ce repère. Deux familles de méthodes vont nous aider à comprendre la suite : apprendre à partir de réponses souhaitées et apprendre à partir d’évaluations de réponses.

Montrer des réponses souhaitées : le SFT

L’ajustement supervisé, ou supervised fine-tuning (SFT), poursuit l’entraînement avec des exemples sélectionnés. Pour un assistant, un exemple associe une demande — éventuellement accompagnée d’un document ou d’un historique — à une réponse souhaitée.

Voici un exemple pédagogique que l’on pourrait construire autour de Passerelle. Il n’est pas extrait d’un corpus d’entraînement réel.

Demande :

Résume la note de Passerelle en deux phrases, sans ajouter d’information.

Réponse souhaitée, à partir de la note du chapitre 1 :

Passerelle organise des ateliers gratuits d’entraide entre étudiants. Son nombre de bénévoles est passé de 27 à 41, et elle a organisé six ateliers cette année.

L’entraînement vise à rendre les tokens de cette réponse plus probables dans ce contexte. Dans un réglage courant pour les assistants, la perte porte sur les tokens de réponse, tandis que la demande sert de contexte. Il ne s’agit pas seulement de placer un bon exemple dans un prompt : les paramètres sont effectivement ajustés.

De nombreux exemples diversifiés peuvent montrer comment résumer, expliquer, demander une précision ou signaler qu’une information manque. Le modèle peut ensuite généraliser à des demandes qui ne figuraient pas dans les exemples. Mais il peut aussi en apprendre les erreurs, les raccourcis ou les habitudes indésirables.

Les exemples peuvent être écrits par des humains, ou proposés par d’autres modèles puis sélectionnés ou corrigés. Leur provenance et leur contrôle dépendent de la méthode employée.

Le SFT est notamment décrit dans la première étape de l’étude InstructGPT. Karpathy évoque aussi les données humaines et synthétiques à partir de 1 h 15 min 04 s.

Comparer des réponses : les préférences et le RLHF

Rédiger une réponse de référence n’est pas toujours la meilleure façon d’exprimer ce que l’on attend. Il peut être plus pratique de comparer deux réponses à la même demande.

Reprenons un contraste du premier chapitre :

Réponse A :

Passerelle compte maintenant 41 bénévoles, contre 27 l’an dernier.

Réponse B :

Grâce à sa campagne sur les réseaux sociaux, Passerelle compte maintenant 41 bénévoles, contre 27 l’an dernier.

La note ne mentionne aucune campagne. Une personne chargée d’évaluer la fidélité à la source devrait donc préférer A sur ce critère. Dans d’autres comparaisons, les critères peuvent porter sur la clarté, la pertinence ou le respect du format. Une préférence n’est pas nécessairement un jugement universel, partagé par tout le monde.

Une méthode connue est l’apprentissage par renforcement à partir de retours humains, ou RLHF (reinforcement learning from human feedback). Dans sa forme classique avec un modèle de récompense, elle suit ce principe :

1. Des personnes comparent des réponses et indiquent celles qu’elles préfèrent selon des critères définis.
2. Un modèle de récompense apprend à attribuer des scores compatibles avec ces préférences, à partir de la demande et d’une réponse candidate.
3. Le modèle générateur produit des réponses. Un algorithme d’apprentissage par renforcement ajuste les paramètres de ce modèle pour favoriser des réponses obtenant de meilleurs scores, avec des contraintes pour limiter les changements indésirables.

La « récompense » est un signal numérique, pas une satisfaction ressentie. Les évaluateurs n’ont pas à corriger chaque réponse produite pendant toute la phase d’optimisation : le modèle de récompense fournit une approximation de leurs jugements.

Ce parcours est documenté dans la méthode d’InstructGPT. C’est un exemple concret de méthode, pas la preuve que tous les assistants actuels suivent exactement ces étapes.

Un score préféré n’est pas un certificat de vérité

Si les évaluateurs manquent l’invention de la campagne, ou si le modèle de récompense favorise surtout une formulation convaincante, B peut recevoir une bonne évaluation. Optimiser ce score ne transforme pas l’information inventée en fait établi.

Une optimisation peut même exploiter les faiblesses du système d’évaluation : obtenir un meilleur score sans améliorer réellement la réponse. Karpathy décrit cette limite des récompenses apprises à partir de 3 h 00 min 47 s. Le choix des critères et la vérification des résultats restent donc essentiels.

Toutes les méthodes de préférences n’utilisent pas cette boucle

L’optimisation directe des préférences, ou DPO (Direct Preference Optimization), est une autre approche. Elle utilise des paires de réponses préférées et non préférées pour ajuster directement le modèle, sans entraîner un modèle de récompense séparé ni utiliser la boucle de renforcement décrite ci-dessus. L’article original sur DPO en présente le principe.

Il n’est pas nécessaire de mémoriser tous les algorithmes. La distinction utile est celle du signal : une réponse à imiter dans le SFT, une comparaison entre réponses dans l’apprentissage des préférences. Plusieurs méthodes peuvent être combinées ou répétées selon le modèle.

Et l’apprentissage du raisonnement ?

Le renforcement peut aussi utiliser des résultats vérifiables, plutôt qu’un jugement de préférence. Pour certains problèmes mathématiques, un évaluateur peut comparer une réponse à un résultat attendu. Pour un programme, des tests peuvent vérifier une partie du comportement demandé.

Le modèle génère des solutions, reçoit un signal d’évaluation, puis ses paramètres sont ajustés pour favoriser les comportements qui réussissent. Cet entraînement peut encourager des étapes intermédiaires utiles. Il ne faut pas le confondre avec le fait de demander, au moment de l’utilisation, « explique étape par étape » : cette consigne modifie le contexte, pas les paramètres.

Microsoft aborde cette famille de méthodes dans Reasoning through reinforcement learning. Elle ne constitue pas une troisième étape obligatoire pour tout modèle. Les tests peuvent être incomplets, les évaluateurs imparfaits, et une réponse détaillée ne prouve pas à elle seule la justesse du raisonnement. Nous y reviendrons dans le chapitre consacré à cette question.

Quand vous conversez, vous utilisez normalement des paramètres déjà appris

Après l’entraînement, le modèle peut être utilisé pour l’inférence : produire une réponse à partir d’une entrée. Dans le fonctionnement habituel décrit ici, ses paramètres restent fixes pendant votre conversation.

Si vous corrigez la note de Passerelle en remplaçant « six ateliers » par « huit ateliers », le modèle peut reprendre ce nouveau chiffre dans sa réponse. Ce changement vient des informations présentes dans le contexte ; il ne démontre pas une mise à jour des paramètres.

Un retour envoyé au fournisseur peut éventuellement être utilisé dans un entraînement ultérieur, selon son fonctionnement et ses règles. C’est une question différente d’une mise à jour immédiate à chaque message. L’absence d’apprentissage pendant l’inférence ne permet pas non plus de conclure que les données ne sont jamais conservées.

Enfin, le modèle entraîné n’est pas toute l’application. Les instructions de l’application, le format de conversation, les documents transmis et les outils disponibles influencent aussi le résultat. Un assistant combine donc des capacités apprises et un contexte d’utilisation ; le postentraînement ne remplace pas ces éléments.

Vérifier votre compréhension

1. Un texte d’entraînement contient une affirmation fausse. Pourquoi le token de cette affirmation peut-il malgré tout être la bonne cible pour l’objectif de préentraînement ?
2. Que distingue une fonction de perte d’un optimiseur ? Pourquoi une perte plus faible ne garantit-elle pas un meilleur assistant dans toutes les situations ?
3. Quelle est la différence entre montrer une réponse souhaitée dans un entraînement SFT et inclure cette réponse comme exemple dans votre demande ?
4. Dans le cas de Passerelle, pourquoi une réponse préférée ou bien notée peut-elle encore contenir une invention ?
5. Vous corrigez un chiffre et l’assistant l’utilise au tour suivant. Qu’est-ce que cette observation montre ? Qu’est-ce qu’elle ne prouve pas sur ses paramètres ou sa mémoire future ?

Vous pouvez répondre sans lancer un entraînement ni utiliser un service d’IA. Le point central est de distinguer les données, le signal d’apprentissage, les paramètres et le contexte de la demande.

La prochaine question : quelles informations restent disponibles ?

Nous savons maintenant comment un modèle peut acquérir des capacités, puis apprendre à les mobiliser dans le rôle d’un assistant. Une autre question devient plus précise : lorsqu’une conversation s’allonge, quelles informations le modèle reçoit-il réellement pour construire la réponse suivante ?

Le prochain chapitre expliquera le contexte, sa limite de capacité et les fonctions de mémoire, sans les confondre avec les paramètres appris.

Chapitre précédent : Que se passe-t-il à l’intérieur du modèle ?

Chapitre suivant : Qu’est-ce que le contexte, et de quoi le modèle se souvient-il ?

Revenir au sommaire de la formation