Une IA a appris à écrire du meilleur code toute seule, sans professeur

Points clés

• Qwen3-30B-Instruct, un grand modèle d'IA créé par le géant technologique chinois Alibaba, a augmenté son score à un test de codage standard de 42,4 % à 55,3 % en utilisant uniquement ses propres résultats comme matériel d'entraînement.
• Cette technique, appelée auto-distillation simple, ne nécessite aucun retour humain, aucun modèle « professeur » séparé, et aucun apprentissage par renforcement (une méthode d'entraînement basée sur des récompenses souvent utilisée pour affiner le comportement de l'IA).
• Les gains ont été les plus importants sur les problèmes de codage les plus difficiles, pas sur les faciles.
• La méthode a fonctionné sur six tailles de modèles différentes et deux familles de modèles, Qwen et Llama, ce qui suggère qu'il ne s'agit pas d'un résultat unique.

Les chercheurs en IA ont passé des années à construire des systèmes élaborés pour rendre les modèles plus intelligents : des évaluateurs humains donnant des retours d'information, des modèles « professeurs » séparés guidant les plus faibles, des signaux de récompense complexes orientant le comportement dans la bonne direction. Un nouvel article de Apple ML Research suggère que vous n'en auriez peut-être pas besoin, du moins pour le codage.

La technique s'appelle auto-distillation simple. Voici comment elle fonctionne. Vous prenez un modèle d'IA existant et lui demandez de générer de nombreuses solutions candidates à des problèmes de codage, en variant le caractère créatif ou aléatoire de ses réponses. Vous affinez ensuite, c'est-à-dire réentraînez sur un ensemble de données sélectionné, le même modèle sur ces mêmes réponses. Pas de juge externe. Pas de données supplémentaires. Le modèle, en effet, étudie son meilleur travail.

Le résultat ? Qwen3-30B-Instruct, l'un des modèles phares compatibles avec le code d'Alibaba, est passé de 42,4 % à 55,3 % sur LiveCodeBench v6, une référence largement utilisée qui teste l'IA sur de véritables problèmes de concours de programmation. C'est un gain de 12,9 points de pourcentage à partir de ce que les chercheurs appellent une procédure horriblement simple.

Le mot « horriblement » est délibéré et honnête. Il signale que la méthode nécessite presque aucune machinerie spéciale, le genre de chose qui rend les chercheurs expérimentés discrètement ennuyés de ne pas l'avoir essayée plus tôt.

Deux détails font que c'est plus qu'une curiosité comparative. Premièrement, les améliorations se sont concentrées sur les problèmes plus difficiles. Les questions faciles ont à peine bougé. C'est important parce que les problèmes difficiles sont là où les outils de codage basés sur l'IA échouent encore régulièrement face aux utilisateurs humains. Deuxièmement, l'astuce s'est maintenue sur six modèles allant de 4 milliards à 30 milliards de paramètres (une mesure approximative de la taille et de la capacité d'un modèle) couvrant les familles de modèles Qwen et Llama. Une généralisation large sur différentes architectures est un bon signe qu'une découverte est réelle plutôt que soigneusement orchestrée.

Cela signifie-t-il que l'IA remplacera les programmeurs ?

Non. Un score de 55,3 % sur une référence de programmation compétitive signifie toujours que le modèle échoue près de la moitié du temps sur les questions les plus difficiles. L'auto-distillation est une découverte d'efficacité d'entraînement, pas un game-changer de capacité.

Pour les utilisateurs quotidiens d'assistants de codage IA, les outils construits sur des versions améliorées de ces modèles pourraient gérer les bugs plus épineux et les tâches multi-étapes de manière plus fiable. Mais les assistants sous-jacents ont toujours besoin d'un examen humain, en particulier pour le code en production où les erreurs ont des conséquences réelles.

Pour la communauté de recherche, la découverte est un rappel utile. Avant de se tourner vers une infrastructure coûteuse, parfois le modèle que vous avez déjà contient le signal dont vous avez besoin.