1. Qu’est-ce que l’IA générative ?

Vous fournissez quelques lignes à une application de conversation et vous lui demandez de les résumer. Une réponse apparaît, rédigée dans un français naturel. Vous pouvez ensuite demander une version plus courte, un autre ton ou une explication.

Cette familiarité peut masquer plusieurs questions. Qu’est-ce qui produit le texte ? Où se trouvent les informations utilisées ? Et le fait de répondre sous la forme d’une conversation signifie-t-il que le système comprend la situation comme une personne ?

Pour commencer, nous allons séparer trois notions : l’IA générative, qui désigne un ensemble de systèmes capables de produire du contenu ; le modèle de langage, qui permet ici de traiter et de générer du texte ; et l’application, qui organise votre interaction avec ce modèle. À la fin du chapitre, vous pourrez reconnaître leur rôle dans un exemple et expliquer pourquoi une réponse bien écrite ne suffit pas à établir un fait.

Partons d’une demande concrète

Voici la note que nous utiliserons dans le cours. L’association et les données sont entièrement fictives.

L’association Passerelle organise des ateliers d’entraide entre étudiants. Elle comptait 27 bénévoles l’an dernier et en compte 41 cette année. Elle a organisé six ateliers cette année. La participation aux ateliers est gratuite.

Vous accompagnez cette note de la demande suivante :

Résume cette note en deux phrases pour des étudiants qui ne connaissent pas l’association. N’ajoute pas d’information absente du texte.

Cette consigne est un prompt : une entrée qui oriente la réponse attendue du système. Dans une conversation, un prompt peut contenir une question, des instructions, un exemple ou un document. Ce n’est pas nécessairement une formule particulière.

Le résultat demandé est un texte adapté à un objectif et à un public. Le système doit sélectionner des informations et les reformuler. C’est un exemple d’utilisation de l’IA générative.

Ce que signifie « générative »

L’intelligence artificielle est un domaine qui rassemble des méthodes permettant à des systèmes informatiques d’accomplir des tâches comme reconnaître des formes, faire des prédictions ou produire du langage. Toutes ses applications ne génèrent pas du contenu.

Un système peut, par exemple, classer un courriel comme indésirable. Un autre peut estimer le nombre de participants à un événement. Un système génératif peut rédiger une invitation à cet événement. Ces tâches ne demandent pas le même type de résultat : une catégorie, une estimation ou un contenu construit.

On appelle IA générative les systèmes qui produisent du contenu à partir de régularités apprises sur des données. Le contenu peut prendre la forme de texte, d’images, de son, de vidéo ou de code informatique. Selon le système, l’entrée peut elle aussi être du texte, une image ou une autre forme de donnée.

« Générative » décrit donc une capacité de production. Le mot ne garantit ni l’exactitude du résultat ni son originalité. Un contenu généré peut comporter une erreur, reprendre une formulation courante ou reproduire un passage rencontré pendant l’entraînement.

Ces catégories ne sont pas des cases étanches. Un même modèle génératif peut servir à classer des courriels en produisant une étiquette, ou à rédiger une réponse. Il faut distinguer les capacités du système de la tâche précise que vous lui confiez.

Dans cette formation, nous nous concentrons sur les modèles de langage. Les systèmes qui produisent des images ou de l’audio peuvent employer d’autres architectures et d’autres méthodes de génération. L’explication du texte ne sera donc pas une description universelle de toute l’IA générative.

Qu’est-ce qu’un grand modèle de langage ?

Un modèle apprend des régularités

Dans ce contexte, un modèle est un système de calcul dont des valeurs numériques ont été ajustées à partir d’exemples. Ces valeurs sont appelées paramètres. Leur ajustement constitue l’entraînement.

Pour un modèle de langage, les exemples permettent notamment d’apprendre des régularités dans le texte : des structures grammaticales, des relations entre des notions, des façons d’expliquer ou de résoudre certains problèmes. Cela ne revient pas à écrire à la main une règle pour chaque question possible.

Une fois entraîné, le modèle utilise ses paramètres pour traiter une entrée et produire un résultat. Il peut répondre à une demande qui n’a pas été écrite mot pour mot dans ses exemples d’entraînement. Cette capacité à appliquer ce qui a été appris à d’autres situations est appelée généralisation. Elle a des limites : une formulation nouvelle ou une tâche inhabituelle peut aussi conduire à une mauvaise réponse.

Un LLM travaille sur le langage

Un grand modèle de langage, ou LLM pour large language model, est un modèle entraîné à grande échelle pour traiter du langage. Le terme « grand » renvoie notamment à la taille du modèle, exprimée en nombre de paramètres ; ces modèles sont généralement entraînés sur de grandes quantités de données. Ce mot n’est ni un seuil universel ni une garantie de qualité.

Nous étudierons surtout les LLM qui génèrent du texte. Leur mécanisme central consiste à estimer les possibilités de continuation à partir du texte disponible, puis à construire une réponse par petites unités appelées tokens. Un token peut correspondre à un mot, à une partie de mot ou à un signe de ponctuation. Le prochain chapitre expliquera ce découpage ; le suivant détaillera la génération.

Cette présentation ne signifie pas que le modèle se limite à juxtaposer des mots fréquents. Pour produire des continuations adaptées, son entraînement peut développer des capacités de traduction, de résumé, d’analyse et de résolution de problèmes. Mais l’existence de ces capacités ne garantit pas la réussite de chaque tâche. Cette distinction entre le mécanisme de génération et ses usages est présentée dans LLM Fundamentals de Microsoft.

Produire du texte n’est pas encore être un assistant

Un modèle entraîné à poursuivre des textes ne suit pas nécessairement une consigne de façon fiable. Des entraînements complémentaires peuvent lui apprendre à répondre dans un dialogue, à respecter un format ou à exprimer certaines limites.

Nous étudierons plus loin cette distinction entre le modèle de base et le modèle préparé pour un rôle d’assistant. Elle explique pourquoi l’aptitude à générer du texte et l’aptitude à vous aider dans une conversation sont liées, mais ne sont pas identiques. Karpathy développe ce passage dans la séquence du préentraînement au post-entraînement, à partir de 59 min 28 s.

Le modèle et l’application ne sont pas la même chose

Lorsque vous utilisez une application de conversation, vous ne manipulez pas directement les paramètres du modèle. Vous utilisez une interface et des logiciels qui préparent les informations à lui transmettre, demandent une génération et affichent le résultat.

Reprenons la note de l’association Passerelle. Les responsabilités peuvent être distinguées ainsi :

L’application peut également conserver l’historique, extraire le texte d’un fichier ou donner accès à des outils, comme une recherche sur le Web ou un calculateur. Ces fonctions ne découlent pas toutes du modèle lui-même. Il faut qu’elles soient effectivement prévues et utilisées par le logiciel.

Cette séparation aide à interpréter ce que vous observez. Si une application retrouve une ancienne conversation, cela ne prouve pas que son modèle l’a apprise dans ses paramètres. L’application peut avoir conservé le texte et l’avoir transmis à nouveau. De même, déposer un document pour le faire résumer ne signifie pas, en soi, réentraîner le modèle. Les règles de conservation et d’utilisation ultérieure des données relèvent du service concerné ; c’est une autre question.

Répondre n’est pas nécessairement rechercher

Un moteur de recherche sert notamment à retrouver et à classer des documents existants. Un modèle génératif produit une réponse. Une application peut associer les deux : rechercher des documents, fournir des extraits au modèle, puis lui demander une synthèse.

En revanche, le modèle n’effectue pas automatiquement une recherche sur le Web parce que vous lui posez une question. Lorsqu’un outil est disponible, le modèle peut produire une demande d’utilisation de cet outil ; c’est le logiciel extérieur qui exécute la recherche et lui fournit les résultats. Microsoft explique cette séparation dans la section How LLMs learn to use tools.

Dans notre exemple, aucune recherche n’est nécessaire pour reformuler la note fournie. Si vous demandez à la place l’adresse actuelle de l’association, cette information n’y figure pas. Une réponse rédigée comme une adresse ne suffirait pas à prouver qu’elle existe. Dans un cas réel, il faudrait une source appropriée et vérifiable.

Il faut donc séparer deux questions : « Le système a-t-il produit une réponse ? » et « Sur quelles informations cette réponse repose-t-elle ? » La première se constate à l’écran. La seconde demande d’examiner le document fourni, les sources consultées ou les autres éléments disponibles.

Une réponse plausible peut ajouter un fait injustifié

Voici deux réponses fictives, rédigées pour le cours à partir de la note de Passerelle. Il ne s’agit pas de résultats observés lors d’un test avec un modèle.

Première formulation :

Passerelle organise des ateliers gratuits d’entraide entre étudiants. Son nombre de bénévoles est passé de 27 à 41, et elle a organisé six ateliers cette année.

Deuxième formulation :

Grâce à une campagne de communication sur les réseaux sociaux, Passerelle a porté son nombre de bénévoles de 27 à 41. Elle a organisé six ateliers gratuits cette année.

Les deux formulations sont lisibles. Pourtant, la seconde introduit une campagne de communication et lui attribue l’augmentation du nombre de bénévoles. La note ne fournit ni cette information ni cette explication.

L’erreur n’est pas grammaticale. Elle concerne le rapport entre la réponse et ce qui permet de la justifier. Une campagne pourrait expliquer une hausse des inscriptions dans une autre situation ; cela n’autorise pas à l’affirmer ici.

On parle souvent d’hallucination lorsqu’un modèle présente comme établie une information fabriquée ou non étayée. Ce terme décrit un problème de réponse, pas une expérience humaine du modèle. Karpathy en montre des exemples dans la séquence Hallucinations, tool use, knowledge/working memory, à partir de 1 h 20 min 33 s.

Une consigne demandant de ne rien inventer est utile pour préciser la tâche, mais elle ne garantit pas son respect. La vérification reste nécessaire. Ici, vous pouvez comparer chaque affirmation à une note de quatre phrases. Sur un sujet que vous connaissez moins, l’erreur peut être plus difficile à repérer.

Comprendre les capacités sans leur prêter une pensée humaine

Une conversation fluide donne facilement l’impression de parler à une personne. Des expressions comme « le modèle comprend » peuvent servir à décrire un comportement réussi : il a, par exemple, correctement interprété une consigne. Elles ne démontrent pas qu’il comprend par les mêmes mécanismes qu’un être humain.

Pour étudier le système, nous partirons de questions observables : quelles informations a-t-il reçues ? Quelle réponse a-t-il produite ? Quelles affirmations sont justifiées ? Dans quelles situations échoue-t-il ?

Cette approche évite aussi de réduire le modèle à un simple répertoire de phrases. Il peut produire des explications utiles et appliquer des régularités apprises à des situations nouvelles, tout en commettant des erreurs. Reconnaître ses capacités et vérifier ses résultats ne sont pas deux attitudes contradictoires.

Vérifier votre compréhension

Revenez à la note de Passerelle, puis essayez de répondre avec vos propres mots :

1. Pourquoi rédiger son résumé est-il une tâche générative, alors que ranger la note dans la catégorie « vie étudiante » est une tâche de classification ? Un même modèle pourrait-il servir aux deux ?
2. Une application rouvre demain votre échange d’aujourd’hui. Que pouvez-vous en déduire sur l’application ? Que ne pouvez-vous pas en déduire sur l’entraînement du modèle ?
3. Quel passage de la deuxième formulation faudrait-il retirer ou justifier par une autre source ? Pourquoi les chiffres corrects ne suffisent-ils pas à rendre toute la réponse fiable ?

Ces questions ne demandent pas d’utiliser un service d’IA. Elles servent à vérifier que vous distinguez la tâche, le modèle, l’application et les informations qui étayent une réponse.

Les repères pour la suite

L’IA générative produit du contenu à partir de régularités apprises. Un LLM est un modèle de langage ; l’application qui l’utilise ajoute une interface et, selon les cas, un historique ou des outils. Enfin, la qualité de la rédaction ne garantit pas la qualité des faits.

Nous avons nommé les tokens sans encore examiner comment ils sont obtenus. La prochaine étape du parcours sera de suivre la transformation d’une phrase en unités que le modèle peut traiter. C’est le point de départ pour comprendre comment une réponse se construit.

Page précédente : Introduction

Chapitre suivant : Comment le texte devient-il des tokens ?

Revenir au sommaire de la formation