Les assistants conversationnels sont devenus des outils quotidiens, mais leur fonctionnement reste opaque pour la plupart des utilisateurs. On les décrit tantôt comme des moteurs de recherche, tantôt comme des cerveaux artificiels : ni l’un ni l’autre n’est exact. Comprendre le mécanisme réel — la prédiction du prochain élément de texte — change complètement la manière de s’en servir, et explique aussi bien leurs performances que leurs erreurs.
Première étape : découper le texte en tokens
Un modèle ne manipule pas des mots, mais des tokens : des fragments de texte issus d’un découpage statistique. Un token peut être un mot entier, une partie de mot, un signe de ponctuation ou même une espace.
Les mots courants forment généralement un seul token, tandis que les mots rares, les noms propres ou les termes techniques sont fragmentés en plusieurs morceaux. Ce découpage permet de représenter n’importe quel texte, y compris des mots jamais rencontrés, avec un vocabulaire de taille limitée.
Chaque token est ensuite converti en une liste de nombres, appelée vecteur ou embedding. Ces nombres encodent des relations de sens : des tokens employés dans des contextes similaires se retrouvent proches les uns des autres dans cet espace mathématique.
Deuxième étape : prédire ce qui vient ensuite
Le cœur du système est étonnamment simple à énoncer. À partir de la suite de tokens déjà présente, le modèle calcule une probabilité pour chaque token possible du vocabulaire. Il en choisit un, l’ajoute à la suite, puis recommence l’opération.
C’est tout. Une réponse de trois paragraphes n’est pas planifiée à l’avance : elle est construite token après token, chacun dépendant de tout ce qui précède. La cohérence apparente vient du fait que chaque nouvelle prédiction tient compte de l’ensemble du texte déjà produit.
Le mécanisme d’attention
Les modèles actuels reposent sur une architecture appelée transformeur, dont l’élément central est le mécanisme d’attention. Il permet au modèle de pondérer l’importance de chaque token du contexte lorsqu’il calcule la suite.
Dans la phrase « la clé ne rentrait pas dans la serrure parce qu’elle était trop grande », l’attention aide le modèle à relier « elle » à « la clé » plutôt qu’à « la serrure ». Cette capacité à établir des liens à distance dans le texte est ce qui distingue ces modèles des approches statistiques plus anciennes.
La fenêtre de contexte
Le modèle ne peut prendre en compte qu’une quantité limitée de tokens à la fois : c’est la fenêtre de contexte. Elle contient à la fois vos messages, les réponses précédentes et les instructions du système.
Deux conséquences pratiques en découlent. D’abord, dans une conversation très longue, les éléments les plus anciens finissent par sortir de la fenêtre : le modèle ne les « oublie » pas au sens humain, il n’y a tout simplement plus accès. Ensuite, un document trop volumineux doit être découpé avant d’être traité.
Température et créativité
Si le modèle choisissait systématiquement le token le plus probable, ses réponses seraient répétitives et prévisibles. Un paramètre appelé température règle le degré de hasard dans la sélection.
| Réglage | Comportement | Usage adapté |
|---|---|---|
| Température basse | Réponses stables et prévisibles | Résumés, extraction de données, code |
| Température moyenne | Équilibre entre fiabilité et variété | Rédaction générale, explications |
| Température élevée | Réponses variées, parfois incohérentes | Brainstorming, écriture créative |
C’est aussi pour cette raison qu’une même question posée deux fois peut donner deux réponses différentes.
Pourquoi les modèles inventent parfois
On parle d’hallucination lorsqu’un modèle produit une information fausse avec assurance : une citation inexistante, une référence inventée, une date erronée.
Ce comportement découle directement du mécanisme. Le modèle optimise la vraisemblance linguistique, pas l’exactitude factuelle. Une référence bibliographique inventée « ressemble » statistiquement à une vraie référence : format correct, nom d’auteur plausible, revue crédible. Rien dans le processus de génération ne vérifie son existence.
La conclusion pratique est claire : ces outils sont excellents pour reformuler, structurer, expliquer ou générer des pistes, mais toute donnée factuelle vérifiable — chiffre, date, citation, référence juridique ou médicale — doit être contrôlée à la source.
Entraînement et ajustement
La construction d’un modèle se déroule en plusieurs phases. Le pré-entraînement consiste à lui faire prédire le token suivant sur d’immenses quantités de texte ; c’est là qu’il acquiert grammaire, style et connaissances générales. Vient ensuite une phase d’ajustement, où le modèle apprend à suivre des instructions et à adopter un comportement utile, souvent à partir d’évaluations humaines de ses réponses.
Ces connaissances sont figées à la date de fin de l’entraînement. Pour accéder à des informations récentes, un modèle doit être connecté à des sources externes, par exemple un moteur de recherche ou une base documentaire.
Ce que cela change pour vos requêtes
- Donnez du contexte. Le modèle ne travaille qu’avec ce qui se trouve dans la fenêtre. Rôle, public visé, contraintes de format : tout cela améliore la sortie.
- Fournissez des exemples. Montrer deux ou trois cas du résultat attendu est souvent plus efficace qu’une longue description.
- Découpez les tâches complexes. Une série d’étapes courtes donne de meilleurs résultats qu’une consigne unique et touffue.
- Demandez le raisonnement. Inviter le modèle à détailler les étapes améliore la fiabilité sur les problèmes logiques.
- Vérifiez les faits. Traitez la sortie comme un brouillon de collaborateur, jamais comme une source d’autorité.
Conclusion
Un modèle de langage n’est ni une base de données ni un esprit : c’est un système de prédiction statistique entraîné sur du texte, capable de produire des enchaînements remarquablement cohérents. Connaître ce fonctionnement permet d’en exploiter les forces — reformulation, structuration, exploration d’idées — tout en gardant la vigilance nécessaire sur les faits.
Envie d’approfondir ? Cursa propose des cours gratuits en intelligence artificielle, science des données et programmation, avec vidéos et certificat, pour comprendre ces technologies de l’intérieur.
