ИИ самостоятельно научился писать код лучше, без учителя

Ключевые моменты

• Qwen3-30B-Instruct, крупная модель ИИ от китайской компании Alibaba, повысила свой балл на стандартном тесте кодирования с 42,4% до 55,3%, используя только свои собственные выходные данные в качестве материала для обучения.
• Метод, называемый простой самодистилляцией, не требует обратной связи от человека, отдельной модели-учителя и обучения с подкреплением (метод обучения на основе наград, часто используемый для улучшения поведения ИИ).
• Наибольший прогресс был достигнут на самых сложных задачах кодирования, а не на легких.
• Метод работал на моделях шести разных размеров и двух семействах моделей — Qwen и Llama, что свидетельствует о том, что это не одноразовый результат.

Исследователи ИИ годами создавали сложные системы для повышения интеллектуальности моделей: люди-оценщики дают обратную связь, отдельные модели-«учителя» направляют более слабые модели, сложные сигналы вознаграждения подталкивают поведение в нужном направлении. Новая статья из Apple ML Research предполагает, что вам может не потребоваться все это, по крайней мере для кодирования.

Техника называется простой самодистилляцией. Вот как она работает. Вы берёте существующую модель ИИ и просите её создать много вариантов решения задач кодирования, варьируя степень креативности или случайности своих ответов. Затем вы дорабатываете, то есть переучиваете на отобранном наборе данных, ту же модель на этих самых ответах. Никаких внешних судей. Никаких дополнительных данных. Модель, по сути, изучает своё лучшее работы.

Результат? Qwen3-30B-Instruct, одна из флагманских моделей Alibaba, способных работать с кодом, прыгнула с 42,4% до 55,3% на LiveCodeBench v6, широко используемом бенчмарке, который проверяет ИИ на реальных задачах из программистских конкурсов. Это прирост на 12,9 процентных пункта от того, что исследователи называют стыдно простой процедурой.

Слово «стыдно» выбрано намеренно и честно. Оно указывает на то, что метод требует почти никакого специального оборудования, то есть именно того, что раздражает опытных исследователей, когда они понимают, что не попробовали это раньше.

Два момента делают это чем-то большим, чем просто любопытство с бенчмарком. Во-первых, улучшения сосредоточились на более сложных задачах. Лёгкие вопросы почти не изменились. Это важно, потому что на сложных задачах инструменты ИИ для кодирования по-прежнему регулярно подводят пользователей. Во-вторых, трюк сработал на шести моделях размером от 4 миллиардов до 30 миллиардов параметров (грубая мера размера и ёмкости модели), охватывающих оба семейства моделей Qwen и Llama. Широкое обобщение на разные архитектуры — это хороший знак того, что результат реален, а не тщательно организован.

Означает ли это, что ИИ заменит программистов?

Нет. Балл 55,3% на бенчмарке для конкурсного программирования всё ещё означает, что модель не справляется почти в половине случаев с самыми сложными вопросами. Самодистилляция — это находка в области эффективности обучения, а не прорыв, позволяющий преодолеть потолок возможностей.

Для обычных пользователей ассистентов ИИ для кодирования инструменты, созданные на основе улучшенных версий этих моделей, могут более надёжно справляться с более сложными ошибками и многоступенчатыми задачами. Однако базовые ассистенты всё ещё требуют проверки человеком, особенно для рабочего кода, где ошибки имеют реальные последствия.

Для научного сообщества этот результат — полезное напоминание. Прежде чем обращаться к дорогостоящей инфраструктуре, иногда модель, которая у вас уже есть, содержит сигнал, который вам нужен.