OpenAI hat ein KI-System entwickelt, das seine eigenen Modelle hackt, um sie sicherer zu machen

Wichtigste Punkte

• OpenAI hat GPT-Red entwickelt, ein KI-System, das darauf trainiert ist, andere KI-Modelle anzugreifen, und kündigte das Projekt diese Woche an.
• GPT-Red stellte fest, dass über 90% seiner stärksten Angriffe gegen GPT-5 vom August 2024 erfolgreich waren, im Vergleich zu weniger als 23% gegen das neue GPT-5.6.
• GPT-Red entdeckte einen bislang unbekannten Angriffstyp, den Forscher „gefälschte Gedankenkette" nennen.
• OpenAI testete GPT-Red gegen einen echten Verkaufsautomaten-Agenten namens Vendy und das System änderte erfolgreich Preise und stornierte Kundenbestellungen.
• OpenAI wird GPT-Red nicht der Öffentlichkeit zur Verfügung stellen.

OpenAI hat eine KI entwickelt, deren einzige Aufgabe darin besteht, andere KIs zu brechen. Das System, genannt GPT-Red, fungiert als eine Art Sparringpartner: Es versucht unermüdlich, OpenAIs eigene Chatbot-Modelle zu hacken, damit das Unternehmen die Sicherheitslücken schließen kann, bevor sie jemand anderes findet.

Die Idee stammt aus einer alten Sicherheitspraxis namens Red-Teaming, bei der eine dedizierte Gruppe von Personen versucht, mit allen bekannten Tricks ein System zu knacken. GPT-Red automatisiert diesen Prozess und führt Angriffe schneller und hartnäckiger durch, als ein menschliches Team es eigenständig schaffen könnte.

Der Zeitpunkt ist wichtig. OpenAI kündigte GPT-Red zusammen mit der Veröffentlichung von GPT-5.6 in der letzten Woche an, der neuesten Version seines Flaggschiff-KI-Modells. Das Unternehmen behauptet, dass GPT-5.6 sein schwierigster Modell zum Knacken ist, teilweise weil er gegen GPT-Reds Angriffe trainiert wurde.

Die Forschungswissenschaftler Nikhil Kandpal und Dylan Hunn, die das System mitentwickelt haben, erklären, dass die Bedrohung für KI-Modelle schnell wächst. Mit der zunehmenden Verwendung von KI an mehr Orten, besonders in Form von KI-Agenten (Software, die Websites durchsuchen, E-Mails lesen, Dateien bearbeiten und mit anderen Programmen in Ihrem Namen interagieren kann), wächst auch die Zahl der Wege, auf denen ein Angreifer Schaden anrichten könnte.

GPT-Red wurde gebaut, indem man ein untrainiertes Modell in eine sogenannte Self-Play-Schleife mit mehreren anderen Modellen versetzte. Es spielte den Angreifer; sie spielten die Verteidiger. Runde um Runde wurde jede Seite besser. Stellen Sie sich zwei Schachspieler vor, die nur gegeneinander spielen und trainieren, bis beide formidabel sind.

Der größte Teil der Teamanstrengungen konzentrierte sich auf die Abwehr gegen eine spezifische Bedrohung namens Prompt-Injection. Dies ist, wenn ein Angreifer geheime Anweisungen in Text versteckt, den eine KI liest, wie eine Webseite oder E-Mail, und die KI so täuscht, dass sie etwas tut, das ihr Nutzer nie verlangt hat, wie das Durchsickern privater Informationen oder Sabotage eines Dokuments.

Was ist eine gefälschte Gedankenkette und sollte sich eine normale Person deswegen Sorgen machen?

Ja, in bescheidenem Maße, und hier ist der Grund. Eine Gedankenkette ist der interne Notizblock, den eine KI nutzt, um ein Problem Schritt für Schritt zu durchdenken. GPT-Red fand einen Weg, eine gefälschte Notiz in diesen Notizblock zu schleusen und überzeugte die Ziel-KI, dass sie bereits etwas überprüft hatte, das sie nie wirklich überprüft hatte. Forschungswissenschaftler Chris Choquette-Choo verglich es damit, dass man gesagt bekommt, dass 1+1=3 ist, und dass man das bereits selbst bestätigt hat. Das Modell akzeptiert es einfach und macht weiter.

Für eine Person, die einen KI-Assistenten nutzt, würde diese Art von Angriff nicht von Ihnen kommen. Er würde sich in einem Dokument oder einer Website verstecken, die die KI in Ihrem Namen liest. Die KI könnte dann auf falsche Informationen reagieren, ohne irgendeine Warnung.

GPT-Red hat echte Grenzen. Es kämpft mit Angriffen, die Hin- und Herbewegungen in Gesprächen erfordern, und es ist noch nicht zuverlässig darin, Bilder zur Übermittlung verborgener Anweisungen zu nutzen. Menschliche Red-Teamer fangen immer noch Dinge, die es verpasst.

Jessica Ji, eine leitende Research-Analystin im Center for Security and Emerging Technology der Georgetown University, überprüfte die Arbeit und bezeichnete die Ergebnisse als vielversprechend.

OpenAI wird GPT-Red nicht veröffentlichen. Forscher berichteten dem MIT Technology Review, dass das Projekt über ein Jahr dauerte und enorme Computerressourcen brauchte, was einen schnellen Nachahmer unwahrscheinlich macht.

Was Sie beachten sollten, wenn Sie KI-Tools bei der Arbeit nutzen: Seien Sie vorsichtig, wenn ein KI-Agent externe Inhalte (E-Mails, Dokumente, Webseiten) liest und dann in Ihrem Namen Maßnahmen ergreift. Wenn die Ausgabe falsch oder unerwartet aussieht, behandeln Sie es als mögliches Zeichen dafür, dass die KI etwas gelesen hat, dem sie nicht hätte vertrauen sollen.