L'IA apprend à gérer son budget de mots avant de commencer à écrire

Points clés

• Apple ML Research a publié le Length Value Model (LenVM), un cadre qui prédit combien de tokens une IA devra encore générer à chaque étape de sa production.
• La technique traite chaque token généré, un token étant le plus petit morceau de texte qu'une IA traite (environ trois quarts d'un mot), comme ayant un petit coût négatif, poussant le modèle à être concis.
• Les systèmes d'IA actuels gèrent la longueur de sortie uniquement à un niveau grossier, au niveau de la séquence complète ; LenVM fonctionne token par token, offrant un contrôle beaucoup plus fin.
• Les chercheurs encadrent le contrôle de la longueur comme un problème d'estimation de valeur, empruntant une méthode à l'apprentissage par renforcement, un entraînement qui récompense ou pénalise une IA pour son comportement.

Chaque fois qu'un chatbot répond à votre question, il génère du texte petit morceau par petit morceau. Chaque morceau s'appelle un token. Plus de tokens signifient plus de temps, plus d'électricité et des coûts plus élevés pour celui qui exploite le service. Pour les utilisateurs, cela signifie souvent simplement attendre plus longtemps une réponse qui aurait pu être plus courte.

Les chercheurs savaient que c'était un problème. Leurs solutions, jusqu'à présent, ont été rudimentaires. Ils pourraient dire à un modèle « gardez votre réponse sous 200 mots » et espérer le meilleur. Le modèle n'a pas vraiment une idée du nombre de mots qu'il lui reste, ni de combien il « dépense » avec chaque mot qu'il ajoute.

LenVM change cela. Le système publié par Apple ML Research assigne au modèle une notion en cours de longueur de génération restante à chaque étape de décodage, le moment où il choisit chaque nouveau token. Pensez-y comme un compteur de taxi qui s'incrémente tous les dixièmes de kilomètre, plutôt qu'un tarif fixe annoncé au début du trajet.

L'astuce est de savoir comment ils enseignent au modèle à s'en soucier. Les chercheurs ont assigné une pénalité constante et petite à chaque token généré. Parce que le modèle est entraîné à maximiser sa récompense, il apprend par lui-même que les mots inutiles sont coûteux. Il devient, en effet, auto-édité.

Cela s'inspire d'une branche de l'entraînement de l'IA appelée apprentissage par renforcement, où un modèle gagne des points pour un bon comportement et en perd pour un mauvais. Ici, « mauvais » signifie simplement verbeux.

Plus court signifie-t-il toujours pire ?

Non, et c'est là le point. Les résultats de l'équipe montrent que le modèle réduit la longueur sur les tâches qui n'ont pas besoin de réponses longues, tout en conservant la qualité intacte sur les tâches qui nécessitent véritablement de la profondeur. L'objectif n'est pas une réponse plus courte à tout prix ; c'est une réponse de la bonne longueur.

Pour les utilisateurs ordinaires, cela compte de deux façons. Premièrement, des réponses plus rapides dans les outils de chat quotidiens. Deuxièmement, des coûts d'exploitation plus faibles que les fournisseurs pourraient transmettre plutôt que d'absorber.

Pour l'industrie de l'IA, cela ouvre une voie vers des modèles qui gèrent leur propre calcul, plutôt que d'être plafonnés manuellement par un ingénieur fixant une limite stricte.