ByteDance construit l'un des plus grands modèles d'IA jamais créés

Points clés

• ByteDance entraîne un modèle d'IA avec jusqu'à 10 billions de paramètres, selon trois personnes connaissant le projet.
• Ce chiffre est trois fois plus grand que Kimi K3, le plus grand modèle d'IA chinois jamais lancé publiquement.
• Le modèle est en phase de pré-entraînement, un processus qui prend généralement trois à six mois avant toute publication publique.
• Le nombre de paramètres final n'a pas été arrêté et ne sera confirmé qu'à un stade ultérieur du développement.
• Une fois terminé, le modèle approcherait l'échelle des systèmes d'IA les plus avancés d'Anthropic.

ByteDance, la société chinoise derrière TikTok, construit discrètement ce qui pourrait devenir l'un des plus grands modèles d'intelligence artificielle du monde. Trois personnes familières avec le projet ont dit à Ars Technica que le modèle pourrait atteindre 10 billions de paramètres, un nombre qui mérite quelques explications.

Un paramètre est un minuscule paramètre interne dans un modèle d'IA. Plus un modèle a de paramètres, plus il peut apprendre de motifs à partir des données, et généralement plus il devient capable pour des tâches comme l'écriture, le raisonnement et les questions-réponses. GPT-4, le modèle qui alimente ChatGPT, est largement estimé avoir environ 1,8 billion de paramètres. Dix billions serait une toute autre affaire.

Pour comparaison, Kimi K3 de Moonshot, actuellement le plus grand modèle d'IA lancé par une entreprise chinoise, possède environ 3,3 billions de paramètres. Le projet de ByteDance serait trois fois cette taille.

À quel stade en est-on?

Actuellement, le modèle est dans ce que les ingénieurs appellent le pré-entraînement : la première et plus longue phase de la construction d'une IA, où le système lit d'énormes quantités de texte et de données pour acquérir des compétences de base en langage et en raisonnement. Pensez-y comme l'IA qui va à l'école avant tout début de formation professionnelle spécialisée. Cette phase prend généralement trois à six mois.

Après le pré-entraînement, les ingénieurs exécutent une deuxième phase appelée affinage, où le modèle est entraîné sur des tâches plus spécifiques et affiné pour une utilisation dans le monde réel. C'est seulement alors que ByteDance envisagerait un lancement public, et seulement si les résultats semblent bons.

Il est important de noter que le chiffre de 10 billions n'est pas définitif. L'une des sources a déclaré que la taille exacte ne sera décidée que plus tard dans le processus. Le nombre phare pourrait changer.

Pourquoi cela importe-t-il pour les gens ordinaires?

Les modèles plus grands ont tendance à produire de meilleurs résultats sur les problèmes difficiles : documents juridiques complexes, questions médicales, tâches de codage multi-étapes. Si ByteDance lance un modèle à cette échelle, cela donnerait à l'entreprise un outil sérieux pour concurrencer des laboratoires américains comme Anthropic et OpenAI sur le marché mondial de l'IA.

Cela signale aussi à quelle vitesse les entreprises chinoises comblent l'écart. Il y a un an, l'écart entre l'IA de pointe américaine et chinoise semblait large. Aujourd'hui, il se rétrécit rapidement.

Pour les consommateurs, le résultat pratique est plus de concurrence, ce qui historiquement fait baisser les prix et augmente la qualité. ByteDance exploite déjà des produits d'IA y compris son propre chatbot, Doubao, qui compte des dizaines de millions d'utilisateurs en Chine.

Rien de tout cela n'est un produit fini pour l'instant. L'entraînement peut échouer, les résultats peuvent être décevants, et les entreprises abandonnent régulièrement des modèles qui n'offrent pas les performances espérées. Mais la simple ampleur de cette tentative vous dit quelque chose sur les ambitions de ByteDance.