Eine KI brachte sich selbst bei, besseren Code zu schreiben – ganz ohne Lehrer

Wichtigste Punkte

• Qwen3-30B-Instruct, ein großes KI-Modell des chinesischen Technologieunternehmens Alibaba, erhöhte seine Bewertung bei einem standardisierten Codierungstest von 42,4 % auf 55,3 % – nur mit seinen eigenen Ausgaben als Trainingsmaterial.
• Die Technik, einfache Selbstdestillation genannt, benötigt kein menschliches Feedback, kein separates Lehrermodell und kein Reinforcement Learning (eine belohnungsbasierte Trainingsmethode, die häufig verwendet wird, um KI-Verhalten zu verbessern).
• Die Verbesserungen waren bei den schwierigsten Codierungsproblemen am größten, nicht bei den einfachen.
• Die Methode funktionierte über sechs verschiedene Modellgrößen und zwei Modellfamilien – Qwen und Llama – hinweg, was darauf hindeutet, dass es sich nicht um ein einmaliges Ergebnis handelt.

KI-Forscher haben jahrelang aufwendige Systeme entwickelt, um Modelle intelligenter zu machen: Menschliche Bewerter geben Feedback, separate „Lehrer"-Modelle führen schwächere Modelle an, komplexe Belohnungssignale lenken das Verhalten in die richtige Richtung. Ein neues Papier aus dem Apple ML Research deutet darauf hin, dass Sie das möglicherweise nicht brauchen – zumindest nicht beim Codieren.

Die Technik heißt einfache Selbstdestillation. So funktioniert sie: Sie nehmen ein vorhandenes KI-Modell und bitten es, viele Kandidatenlösungen für Codierungsprobleme zu generieren, wobei Sie variieren, wie kreativ oder zufällig seine Antworten sind. Anschließend führen Sie eine Feinabstimmung durch – trainieren das gleiche Modell auf einem kurierten Datensatz basierend auf diesen Antworten neu. Kein externer Schiedsrichter. Keine zusätzlichen Daten. Das Modell studiert sozusagen seine eigenen besten Arbeiten.

Das Ergebnis? Qwen3-30B-Instruct, eines von Alibabas Flaggschiff-Code-fähigen Modellen, sprang von 42,4 % auf 55,3 % bei LiveCodeBench v6, einer weit verbreiteten Benchmark, die KI bei echten Programmierwettbewerbsproblemen testet. Das ist ein Gewinn von 12,9 Prozentpunkten aus dem, was die Forscher als peinlich einfaches Verfahren bezeichnen.

Das Wort „peinlich" ist absichtlich und ehrlich gemeint. Es signalisiert, dass die Methode fast keine spezielle Mechanik erfordert – die Art von Dingen, die erfahrene Forscher still ärgert, dass sie es nicht früher ausprobiert haben.

Zwei Details machen dies mehr als nur eine Benchmark-Kuriosität. Erstens konzentrierten sich die Verbesserungen auf schwierigere Probleme. Einfache Fragen bewegten sich kaum. Das ist wichtig, weil schwierige Probleme der Ort sind, wo KI-Codierungstools für menschliche Benutzer immer noch regelmäßig fehlschlagen. Zweitens hielt der Trick über sechs Modelle im Bereich von 4 Milliarden bis 30 Milliarden Parametern – ein ungefähres Maß für die Größe und Kapazität eines Modells – über beide Modellfamilien Qwen und Llama hinweg. Eine breite Generalisierung über verschiedene Architekturen ist ein anständiges Zeichen dafür, dass ein Ergebnis real ist, anstatt sorgfältig inszeniert zu sein.

Bedeutet das, dass KI Programmierer ersetzen wird?

Nein. Eine Bewertung von 55,3 % bei einer Competitive-Programming-Benchmark bedeutet immer noch, dass das Modell bei den schwierigsten Fragen fast die Hälfte der Zeit fehlschlägt. Selbstdestillation ist ein Trainingseffizienz-Befund, kein Fähigkeits-Deckenbrecher.

Für Alltagsnutzer von KI-Codierungsassistenten können Tools, die auf verbesserten Versionen dieser Modelle basieren, knifflige Fehler und mehrstufige Aufgaben zuverlässiger handhaben. Aber die zugrunde liegenden Assistenten benötigen immer noch menschliche Überprüfung, besonders bei Produktionscode, wo Fehler echte Konsequenzen haben.

Für die Forschungsgemeinschaft ist der Befund eine nützliche Erinnerung. Bevor Sie zu teurer Infrastruktur greifen, enthält das Modell, das Sie bereits haben, manchmal das Signal, das Sie benötigen.