Qu'est-ce qu'un grand modèle de langage et comment fonctionne-t-il ?

Un grand modèle de langage (LLM) est un type d'IA entraîné sur d'énormes quantités de texte pour pouvoir lire, écrire, résumer et répondre à des questions en langage naturel. Il fonctionne en apprenant les motifs à travers des milliards de mots, puis en prédisant le mot, la phrase ou l'idée suivante la plus utile. Pensez-y comme une saisie semi-automatique qui aurait fait l'université.

Que signifie vraiment « grand » ?

« Grand » désigne deux choses à la fois : la taille des données d'entraînement et le nombre de « paramètres » dans le modèle. Les paramètres sont les réglages internes ajustables, un peu comme de petits cadrans, que le modèle règle pendant l'entraînement pour améliorer sa capacité à prédire le texte. GPT-4 aurait des centaines de milliards de paramètres, ce qui est pourquoi l'exécution de ces modèles nécessite une puissance informatique considérable.

Plus de paramètres ne signifient pas nécessairement un modèle plus intelligent. Les chercheurs ont découvert que des ensembles de données soigneusement sélectionnés et plus petits peuvent produire des modèles étonnamment performants à une fraction de la taille. L'étiquette « grand » devient davantage une convention qu'une règle stricte.

Comment fonctionne réellement l'entraînement ?

L'entraînement est le processus qui consiste à montrer au modèle une quantité énorme de texte et à lui faire deviner à plusieurs reprises le mot suivant, puis à ajuster ces cadrans internes chaque fois qu'il se trompe. Faites cela des milliards de fois et le modèle commence à capturer la grammaire, les faits, les styles de raisonnement et même le ton.

La méthode dominante derrière les LLM modernes s'appelle l'architecture transformer, introduite dans un article de référence en 2017. Les transformateurs utilisent un mécanisme appelé « attention » qui permet au modèle de peser la pertinence de chaque mot d'une phrase par rapport à tous les autres mots, afin qu'il comprenne le contexte plutôt que simplement l'ordre des mots.

Après cet entraînement initial, la plupart des modèles commerciaux passent par une deuxième étape appelée RLHF (apprentissage par renforcement à partir des retours humains). Des évaluateurs humains notent les réponses du modèle, et ces scores apprennent au modèle à être plus utile et moins nuisible.

Que peut réellement faire un LLM ?

En pratique, un LLM bien entraîné peut rédiger des e-mails, expliquer le jargon médical, écrire du code, traduire des langues et résumer de longs documents. Un exemple concret : un cabinet de médecins généralistes au Royaume-Uni a utilisé un LLM pour rédiger des lettres de suivi des patients, réduisant le temps administratif d'environ moitié, car le modèle pouvait transformer les points clés du médecin en prose complète et lisible en quelques secondes.

Ce qu'il ne peut pas faire de manière fiable, c'est raisonner à partir de premiers principes, accéder à des informations en direct (sauf s'il dispose d'un outil pour rechercher sur le web) ou garantir l'exactitude des faits. Les LLM « hallucinent » parfois, ce qui signifie qu'ils affirment avec assurance des choses qui sont simplement fausses. Les recherches d'Anthropic sur le comportement des modèles expliquent pourquoi cela se produit et comment les créateurs tentent de le réduire.

En quoi un LLM diffère-t-il d'un moteur de recherche ?

Un moteur de recherche trouve et classe les pages qui existent déjà. Un LLM génère du nouveau texte à partir de zéro, en s'appuyant sur les motifs qu'il a absorbés pendant l'entraînement. La recherche vous donne une liste de sources ; un LLM vous donne une réponse synthétisée sans garantie qu'elle pointe vers la preuve originale.

Les deux sont de plus en plus combinés. Des outils comme la génération augmentée par récupération (RAG) permettent à un LLM d'extraire des documents en direct avant de répondre, mélangeant le meilleur des deux approches.

Quel est le coût d'utilisation ?

Modèle / service	Niveau gratuit	Le niveau payant commence à
ChatGPT (OpenAI)	Oui, GPT-4o mini	~20 $/mois pour Plus
Claude (Anthropic)	Oui, Claude 3 Haiku	~20 $/mois pour Pro
Gemini (Google)	Oui, Gemini 1.5 Flash	~20 $/mois pour Advanced
Accès API (créez le vôtre)	Crédits d'utilisation à l'inscription	Paiement par jeton (fraction de centime)

Pour la plupart des utilisateurs occasionnels, les niveaux gratuits couvrent les tâches quotidiennes. Les utilisateurs intensifs ou les développeurs qui paient par jeton (un jeton représente environ trois à quatre caractères de texte) peuvent voir les coûts s'accumuler rapidement sur de longs documents.

Y a-t-il des pièges à la confidentialité que je devrais connaître ?

Oui, et ils comptent. Lorsque vous tapez un message dans un LLM commercial, ce texte est envoyé aux serveurs du fournisseur. De nombreux fournisseurs déclarent dans leurs conditions qu'ils peuvent utiliser vos conversations pour améliorer les modèles futurs sauf si vous refusez activement. Les contrôles de confidentialité d'OpenAI vous permettent de désactiver l'utilisation des données d'entraînement, mais le paramètre n'est pas activé par défaut pour tous les utilisateurs.

Ne collez pas de données personnelles, de dossiers patients, de détails financiers ou d'informations commerciales confidentielles dans un LLM public à moins d'avoir vérifié attentivement les conditions de traitement des données du fournisseur.

Questions courantes

Un grand modèle de langage est-il la même chose que l'intelligence générale artificielle ?

Non. Un LLM est un système spécialisé entraîné sur la prédiction de texte. L'intelligence générale artificielle (AGI) signifierait un système qui peut apprendre et raisonner dans n'importe quel domaine comme le ferait un humain, quelque chose que les chercheurs considèrent comme un problème ouvert et non résolu.

Un LLM peut-il apprendre de nouveaux faits après sa sortie ?

Non, pas de lui-même. Un LLM standard a une « date limite de connaissance », la date à laquelle ses données d'entraînement se sont arrêtées, et il ne se met pas à jour quand de nouveaux événements se produisent. Certains systèmes ajoutent des outils de recherche en direct pour contourner cette limitation.

Pourquoi un LLM invente-t-il parfois des choses ?

Parce que c'est fondamentalement un moteur de complétion de motifs, pas un vérificateur de faits. Si le motif d'une phrase pointe fortement vers une réponse plausible, le modèle la produit, même quand aucune preuve fiable n'existe. La recherche sur ce problème d'hallucination est active dans les principaux laboratoires.