Forscher fanden Hunderte von Wegen, um KI-Sicherheitsrichtlinien zu durchbrechen – für weniger als ein Abendessen
Eine gemeinnützige Sicherheitsorganisation setzte ein automatisiertes Werkzeug gegen sieben führende KI-Modelle ein. Zwei versagten kläglich. Die Kosten, um sie zum Fehlverhalten zu bringen? Schon ab 58 Dollar.
Wichtigste Punkte
- FAR.AI, eine kalifornische gemeinnützige KI-Sicherheitsorganisation, fand bei automatisierten Tests 2025 448 Jailbreaks in Grok und 249 in Gemini.
- Die Überwindung von Groks Sicherheitsregeln kostete etwa 58 Dollar; bei Gemini etwa 278 Dollar, wobei eine andere KI zur Generierung der Angriffseingaben verwendet wurde.
- Claude, Fable und GPT-Modelle widerStanden jedem automatisierten Angriff in diesem Test, doch Forscher sagen, dass komplexere Angriffe dennoch erfolgreich sein könnten.
- Forscher der Universität Cambridge fanden Hinweise darauf, dass Mitglieder der Boko Haram große KI-Chatbots nutzen, um gewalttätige Anschläge zu planen.
- Es gibt noch kein US-Bundesgesetz, das KI-Unternehmen verpflichtet, spezifische Sicherheitsstandards zu erfüllen, obwohl mehrere Bundesstaaten bereits ihre eigenen Regelungen erlassen haben.
Stellen Sie sich einen Schlüsseldienst vor, der eine Maschine baut, um Tausende verschiedener Schlüssel immer wieder an einem Schloss zu versuchen, bis einer passt. FAR.AI, eine in Kalifornien ansässige gemeinnützige KI-Sicherheitsorganisation, baute etwas Ähnliches, aber für KI-Chatbots.
Das Werkzeug erzeugt mehr als tausend Variationen einer schädlichen Frage und schießt sie nacheinander auf ein KI-Modell, um die Kombination zu finden, die die Sicherheitsfilter des Modells umgeht. Diese Filter sind die eingebauten Schutzvorrichtungen, die Regeln, die in einem Modell verankert sind, um zu verhindern, dass es jemandem hilft, eine Waffe zu bauen oder einen Anschlag zu planen.
Wie schlecht waren die Ergebnisse?
Schlecht genug, um Alarm auszulösen. FAR.AI testete sieben Modelle von vier Unternehmen: Anthropics Claude Opus 4.8 und Fable 5; OpenAIs GPT 5.5 und 5.6; Googles Gemini 3.1 Pro; und Grok 4.3 und 4.5 von SpaceXAI. Das Werkzeug versuchte, jedes Modell dazu zu bringen, Dinge wie schrittweise Pläne für Cyberangriffe und Details zu chemischen oder biologischen Waffen zu produzieren.
Grok versagte am meisten, mit 448 erfolgreich dokumentierten Jailbreaks. Gemini folgte mit 249. Claude, Fable und die GPT-Modelle blockierten jeden Versuch, den das Werkzeug gegen sie richtete.
Die Kostenspalte ist das Bemerkenswerte. Mit Hilfe eines zweiten KI-Modells zur automatischen Generierung der Angriffseingaben berechnete FAR.AI, dass es etwa 58 Dollar kostete, Grok erfolgreich zu knacken, und 278 Dollar für Gemini. Weniger als ein Wochenendeinkauf.
| Modell | Gefundene Jailbreaks | Geschätzte Kosten |
|---|---|---|
| Grok 4.3 / 4.5 | 448 | ~58 Dollar |
| Gemini 3.1 Pro | 249 | ~278 Dollar |
| Claude Opus 4.8 / Fable 5 | 0 | k.A. |
| GPT 5.5 / 5.6 | 0 | k.A. |
„KI-Modelle werden derzeit weniger reguliert als Restaurants", sagte Adam Gleave, CEO von FAR.AI, im Gespräch mit Wired AI, das zuerst über die Ergebnisse berichtete.
Sollten sich normale Menschen Sorgen machen?
Ja, in gemessenem Maße. Diese Angriffe erfordern einige technische Anstrengung, doch die Kosten und die Fähigkeitsschwelle sinken. Eine Studie der Universität Cambridge fand Hinweise darauf, dass Mitglieder der Boko Haram im Nordosten Nigerias ChatGPT, Claude, Gemini, Grok, Meta AI und DeepSeek nutzten, um gewalttätige Anschläge zu planen. Dies ist kein theoretisches Risiko.
Stephen Casper, Informatiker an der Harvard University, drückte es deutlich aus: Die KI-Forschungsgemeinde erwartet allgemein einen ernstlichen Missbrauchsvorfall mit biologischen, Cyber- oder Chemikalienschäden innerhalb von Monaten, nicht Jahren.
Rohin Shah, Direktor für Sicherheit und Alignment bei Google DeepMind, sagte, die Ergebnisse „sollten nicht als umfassende Bewertung der Sicherheit von Gemini interpretiert werden", und merkte an, dass nicht alle Jailbreaks gleich gefährlich sind. Ein Anthropic-Sprecher teilte dem Outlet mit, dass die Ergebnisse Investitionen in Schutzmaßnahmen widerspiegeln, die das Unternehmen ständig aktualisiert. OpenAI und SpaceXAI äußerten sich nicht.
Was passiert als Nächstes?
Einige Bundesstaaten machen Fortschritte. Kalifornien und New York verlangen nun von KI-Unternehmen, Sicherheitsberichte zu veröffentlichen. Illinois wird bald unabhängige Prüfer verpflichten, ihre Praktiken zu überprüfen. Bundesgesetze existieren noch nicht.
Die Informatikerin Anka Reuel von Stanford formulierte die Kernfrage prägnant: „Einige Unternehmen wissen eindeutig, wie sie sich gegen zumindest einen Teil der in diesem Bericht getesteten Angriffe verteidigen können. Die Frage ist, warum einige Unternehmen dies tun und andere nicht."
Gleave sieht für seinen Teil einen Grund für vorsichtigen Optimismus. Wenn Claude und GPT diese Angriffe blockieren können, existiert das Spielbuch. Das Problem ist, dass die Befolgung noch immer optional ist.
Worauf zu achten ist: Wenn Sie einen KI-Chatbot bei der Arbeit oder zu Hause nutzen, seien Sie sich bewusst, dass nicht alle Modelle nach demselben Sicherheitsstandard gebaut sind. Nutzen Sie Plattformen von Unternehmen, die klare Sicherheitsrichtlinien veröffentlichen, und melden Sie alles, das ein Chatbot produziert, das Schaden verursachen soll.
