Ces liens étaient au cœur du premier séminaire de l’Institut de recherche en IA médicale d’Ottawa (IRIAMO), Dans les coulisses de ChatGPT : comment les grands modèles de langage fonctionnent, apprennent et répondent, qui s’est tenu en personne le 14 octobre 2026. La Dre Fida Dankar y a présenté l’architecture et l’entraînement de modèles comme GPT, puis a relié ces bases aux modèles de raisonnement et à la rédaction d’instructions efficaces.
Dans les coulisses de ChatGPT : comment les modèles de langage fonctionnent, apprennent et répondent
Posez une question à ChatGPT, et une réponse peut apparaître presque instantanément. Toutefois, ce qui façonne cette réponse se joue à plusieurs étapes : la façon dont le modèle a appris pendant son entraînement, la manière dont il interprète les mots d’une requête et les choix qu’il fait en générant une réponse. Comprendre ces étapes peut rendre les grands modèles de langage moins mystérieux. Cela peut aussi nous aider à les utiliser plus efficacement : en leur donnant des instructions plus claires, en leur fournissant des données probantes pertinentes et en sachant quoi vérifier pour évaluer les résultats.
Des mots aux nombres, puis des nombres aux mots
Les grands modèles de langage, ou GML, s’inscrivent dans une évolution plus large de l’intelligence artificielle. L’IA fondée sur des règles suit des instructions programmées explicitement par des personnes. Les systèmes d’apprentissage automatique apprennent des régularités à partir des données et les appliquent à de nouveaux cas. L’IA générative apprend elle aussi des régularités à partir des données, mais s’en sert pour créer de nouveaux contenus, notamment du texte, des images, de l’audio ou de la vidéo.
Ces approches coexistent et chacune possède des capacités et des limites différentes. Les GML sont des modèles génératifs qui apprennent des régularités dans le langage. Des modèles comme GPT utilisent un type d’architecture appelé transformeur.
Pour traiter un texte, un transformeur commence par le découper en unités appelées jetons. Les jetons sont représentés numériquement par des plongements vectoriels, des ensembles de nombres qui rendent compte des relations apprises par le modèle pendant son entraînement. Des termes utilisés de manière semblable peuvent acquérir des représentations apparentées.
Mais le plongement initial ne suffit pas à tout expliquer, car un même mot peut avoir des sens très différents selon le contexte.
Prenons le mot « souris ».
« J’ai cliqué sur le lien avec la souris. »
« Le chat a attrapé une souris dans le jardin. »
Le mot est le même, mais son sens change complètement.
C’est là que le mécanisme d’attention devient important. Il permet aux relations entre les jetons du texte en cours de traitement d’influencer leurs représentations. Dans une phrase qui parle de chèques et de dépôts, le contexte oriente vers le sens financier de bank. Dans une phrase qui parle de cliquer sur un lien, le contexte oriente le sense informatique de « souris ». Dans une phrase qui parle d'un chat et d'un jardin, il oriente vers l'animal.
Les transformeurs utilisent plusieurs têtes d’attention en parallèle, ce qui permet au modèle de saisir différents types de relations dans le texte. Ils intègrent aussi de l’information sur la position, car l’ordre des mots compte. D’autres opérations au sein du réseau de neurones artificiels transforment ensuite ces représentations enrichies par le contexte.
Le résultat n’est donc pas une simple représentation numérique d’un mot : il reflète la façon dont ce mot est utilisé dans le contexte précis.
Comment GPT génère une réponse
GPT utilise une architecture de transformeur à décodeur seul. Sa tâche de base consiste à prédire le prochain jeton à partir de ceux qui le précèdent.
Supposons qu’une phrase commence ainsi : « Le patient a été traité avec… »
Le modèle calcule les probabilités des différents jetons qui pourraient suivre. Certains sont plus probables que d’autres. Selon la configuration de la génération, il peut choisir la suite la plus probable ou en sélectionner une par échantillonnage parmi les possibilités disponibles.
Une fois généré, le prochain jeton fait partie du contexte utilisé pour prédire celui qui suivra. Le processus se répète ensuite.
Cela a une conséquence importante : un choix fait au début peut influencer tout ce qui suit. Le modèle ne compose pas un paragraphe complet pour ensuite le dévoiler. Il génère sa réponse étape par étape, chaque nouveau jeton devenant une partie du contexte de la prédiction suivante. Cela aide à comprendre pourquoi la formulation d’une requête est importante, mais aussi pourquoi la rédaction d’instructions n’est qu’un des éléments qui façonnent la réponse.
Des types d’entraînement aux rôles différents
Les calculs effectués dans un modèle de langage dépendent de ses paramètres : des nombres ajustés au cours de l’entraînement. Plusieurs étapes d’entraînement peuvent façonner le comportement d’un modèle conversationnel.
Le préentraînement pose les bases. Le modèle est entraîné sur de très grandes quantités de texte, qui peuvent provenir de sources comme le Web, des livres, du code et des dialogues. Pour un modèle comme GPT, cet entraînement améliore sa capacité à prédire le prochain jeton.
Le modèle apprend ainsi des régularités du langage et assimile l’information contenue dans ses données d’entraînement. On obtient ainsi un modèle de fondation. Or, un modèle de fondation n’a pas nécessairement été entraîné à suivre les instructions d’une personne.
L’ajustement fin à partir d’instructions s’appuie sur ces bases. Le modèle est entraîné sur des exemples soigneusement sélectionnés qui associent des instructions à des réponses appropriées. Cela l’aide à apprendre à interpréter les demandes et à produire des réponses adaptées à la tâche.
L’apprentissage par renforcement avec rétroaction humaine, ou ARRH, ajoute une autre étape. Des personnes évaluent les réponses du modèle. Leurs évaluations servent à entraîner un modèle de récompense distinct qui attribue des scores aux résultats produits. Le modèle de langage peut alors être ajusté davantage pour produire des réponses qui obtiennent de meilleurs scores.
Ces étapes sont liées, mais elles ne remplissent pas la même fonction. Apprendre des régularités dans le langage, suivre une instruction et produire une réponse que les gens préfèrent sont des objectifs d’entraînement distincts.
Ce que la rédaction d’instructions peut changer ou non
La rédaction d’instructions intervient à un autre moment du processus. Les instructions, l’information contextuelle et les exemples font tous partie du contexte dont dispose le modèle lorsqu’il répond. Ils peuvent influencer la réponse sans modifier les paramètres sous-jacents du modèle. Cette distinction aide à comprendre l’utilité de certaines pratiques de rédaction d’instructions.
Des instructions claires et complètes donnent au modèle plus d’information sur la tâche et le résultat souhaité. Séparer les instructions du contenu source (par exemple, à l’aide de titres, de guillemets ou d’autres délimiteurs) clarifie la structure de la requête. Des exemples peuvent illustrer le style, le format ou le type de réponse attendu. Les tâches plus complexes peuvent être divisées en petites étapes, plutôt que de laisser le modèle déduire toutes les exigences à la fois.
Ces approches ne garantissent pas une réponse correcte. Même des requêtes bien rédigées ne peuvent pas empêcher complètement les réponses inexactes ou inventées. Elles peuvent toutefois rendre la tâche et les attentes plus explicites.
Les modèles de raisonnement plus récents ajoutent un autre élément à considérer : la quantité de calculs effectués pendant que le modèle répond.
Ce traitement supplémentaire peut consister à parcourir des étapes de raisonnement intermédiaires, à explorer différentes pistes ou à générer plusieurs solutions possibles et à comparer les résultats. Cela se produit pendant l’inférence (lorsque le modèle génère une réponse), plutôt que lors de son entraînement préalable.
Lorsque plusieurs niveaux de raisonnement sont offerts, l’ampleur du traitement peut être adaptée à la tâche. Reformuler en langage plus simple un court paragraphe d’information destiné aux patients et patientes peut demander moins de raisonnement que comparer des études contradictoires et évaluer les explications possibles de leurs résultats divergents.
Un raisonnement plus poussé n’est pas nécessairement requis pour chaque tâche. Une approche pratique consiste à commencer avec le niveau par défaut, puis à l’augmenter lorsque la tâche comporte plusieurs étapes ou exige une comparaison attentive.
Comprendre ce qui influence la réponse
La réponse d’un grand modèle de langage prend forme à plusieurs moments. L’entraînement détermine les paramètres dont dispose le modèle au départ. La rédaction d’instructions modifie les consignes et l’information disponibles pour une interaction donnée. Les réglages du raisonnement peuvent modifier l’ampleur du traitement effectué pendant la réponse.
Connaître ces distinctions n’exige pas de comprendre chaque calcul effectué dans un transformeur. Cela peut toutefois rendre les échanges sur les grands modèles de langage plus précis et aider à prendre de meilleures décisions sur la façon de leur donner des instructions, de les adapter et de les évaluer.
Le séminaire du 14 octobre a marqué le début du projet pilote de l’IRIAMO, qui compte quatre séances en personne destinées aux chercheuses et chercheurs, aux cliniciennes et cliniciens, aux étudiantes et étudiants en médecine, aux membres du corps professoral et aux autres personnes qui s’intéressent à l’IA en médecine. La série couvre des méthodes et des applications allant de l’apprentissage automatique traditionnel aux grands modèles de langage, et du développement des modèles à l’évaluation clinique et à la mise en œuvre.
Pour obtenir de l’information sur les prochains séminaires, consultez la page des événements de l’IRIAMO.