Штучний інтелект навчився писати кращий код самостійно, без учителя

Ключові моменти

• Qwen3-30B-Instruct, велика модель ШІ від китайської технологічної компанії Alibaba, підвищила свій результат на стандартному тесті кодування з 42,4% до 55,3%, використовуючи лише свої власні результати як матеріал для навчання.
• Цей метод, названий простою самодистиляцією, не потребує людського зворотного зв'язку, окремої моделі-вчителя і ніякого навчання з підкріпленням (метод навчання на основі винагород, який часто використовується для удосконалення поведінки ШІ).
• Найбільші поліпшення спостерігалися на найскладніших завданнях кодування, а не на простих.
• Метод працював для шести різних розмірів моделей і двох сімейств моделей, Qwen і Llama, що свідчить про те, що це не разовий результат.

Дослідники ШІ багато років будували складні системи для підвищення інтелектуальності моделей: люди надавали зворотний зв'язок, окремі моделі-«вчителі» керували слабшими моделями, складні сигнали винаград спрямовували поведінку в правильну сторону. Нова робота від Apple ML Research припускає, що принаймні для кодування цього може й не знадобитися.

Цей метод називається простою самодистиляцією. Ось як він працює. Ви беруть існуючу модель ШІ і просите її генерувати багато можливих розв'язань завдань кодування, варіюючи креативність або випадковість своїх відповідей. Потім ви здійснюєте тонке налаштування, тобто перенавчання на курованому наборі даних, тієї ж моделі на цих самих відповідях. Жодного зовнішнього судді. Жодних додаткових даних. Модель, по суті, вивчає свою найкращу роботу.

Результат? Qwen3-30B-Instruct, одна з флагманських моделей Alibaba, здатних до кодування, стрибнула з 42,4% до 55,3% на LiveCodeBench v6, широко використовуваному тесту, який перевіряє ШІ на реальних завданнях з програмістських змаганнях. Це поліпшення на 12,9 пункти від того, що дослідники називають невловимо простою процедурою.

Слово «невловимо» обрано навмисне та чесно. Воно сигналізує, що метод потребує майже жодної спеціальної машинерії, саме той тип речей, який викликає у досвідчених дослідників тиху розчарованість тим, що вони не спробували це раніше.

Два деталі роблять це більшим, ніж просто цікавість тесту. По-перше, поліпшення сконцентровані на складніших завданнях. Легкі запитання майже не змінилися. Це важливо, тому що складні завдання — це місце, де інструменти кодування ШІ все ще регулярно дають збої для користувачів. По-друге, трюк спрацював на шести моделях розміром від 4 мільярдів до 30 мільярдів параметрів (приблизна міра розміру та потужності моделі) в межах обох сімейств моделей Qwen і Llama. Широка узагальнюваність на різні архітектури — це хороший знак того, що результат справжній, а не ретельно організований.

Чи це означає, що ШІ замінить програмістів?

Ні. Результат 55,3% на тесті змагального програмування все ще означає, що модель дає збій майже в половині випадків на найскладніших запитаннях. Самодистиляція — це знахідка щодо ефективності навчання, а не прорив у потельці можливостей.

Для звичайних користувачів інструментів кодування ШІ інструменти, побудовані на вдосконалених версіях цих моделей, можуть більш надійно обробляти складніші помилки та багатокрокові завдання. Однак основні помічники все ще потребують людського огляду, особливо для виробничого коду, де помилки мають реальні наслідки.

Для наукової спільноти це знахідка — корисне нагадування. Перед тим як звертатися до дорогої інфраструктури, іноді модель, яка у вас уже є, містить сигнал, який вам потрібен.