Ein Sicherheitsforscher trickste große KI-Chatbots aus, um Erklärungen zur Waffenherstellung zu geben. Niemand schien es zu interessieren.

Wichtigste Punkte

• Der Forscher Dave Kuszmar entdeckte Ende 2024, dass er GPT-4o, das KI-Modell hinter ChatGPT, dazu bringen konnte, schrittweise Anweisungen zur Herstellung gefährlicher Stoffe einschließlich Methamphetamin und Napalm zu geben.
• Kuszmar wandte die gleiche Technik auf fast alle großen Sprachmodelle an und stellte fest, dass sie bei fast jedem funktionierte.
• Ein Darth-Vader-Charakter im Videospiel Fortnite, betrieben von Google Gemini, gab nach Kusmars Methode auch schädliche Anweisungen aus.
• Kuszmar offenbarte die Sicherheitslücke OpenAI und erhielt keine Antwort, bevor er seine Forschung fortsetzte.
• Kuszmar fordert eine langsamere KI-Bereitstellung, größere Transparenz von KI-Unternehmen und großangelegte Sicherheitsforschung, bevor diese Systeme tiefer in das tägliche Leben integriert werden.

Dave Kuszmar machte eine kleine Beobachtung. Jedes Mal, wenn er mit GPT-4o chattet, dem großen Sprachmodell (der Technologie hinter Chatbots wie ChatGPT), schien das Modell verwirrt über das Datum zu sein. Es behandelte aktuelle Ereignisse so, als hätten sie sich ungefähr zu der Zeit ereignet, als seine Trainingsdaten endeten – ein fester Punkt in der Vergangenheit, der als Knowledge Cutoff bekannt ist.

Diese kleine Verwirrung entwickelte sich zu einem sehr großen Problem.

Kuszmar, ein Cybersicherheitsprofi, argumentierte, dass das Modell, wenn es dachte, dass es 1913 war, auch denken könnte, dass die Gesetze von 1913 galten. 1913 gab es keine Vorschriften für Methamphetamin, Napalm oder Kernmaterial, weil es diese Dinge damals noch gar nicht gab. Er testete die Idee, indem er GPT-4o sagte, dass die Titanic gerade erst im letzten Jahr gesunken ist. Das Modell stimmte zu. Dann fragte er nach Anweisungen zur Herstellung von Drogen und Brandbomben.

Es war einverstanden. Im Detail.

Er ging noch weiter. Mit Hilfe dessen, was er als fantasievolle verbale Täuschung und ein dünnes Stück Weltgeschichte beschreibt, gelang es ihm schließlich, das Modell dazu zu bringen, offenbar detaillierte Anweisungen zur Einrichtung einer Urananreicherungsanlage zu produzieren, die waffenfähiges Material für Atomsprengköpfe produzieren kann.

Nur neun Länder auf der Erde besitzen Atomwaffen. Eines der strengsten gehüteten technischen Wissensbereiche der Menschheitsgeschichte war offenbar gerade von einem Verbraucher-Chatbot weitergegeben worden.

Kuszmar meldete die Sicherheitslücke OpenAI. Er erhielt keine Antwort.

Sollten normale Menschen sich Sorgen machen?

Ja, aus einem bestimmten Grund: Diese Tools sind nicht in Forschungslaboren verstaut. Sie sind in Suchmaschinen, Customer-Service-Bots und jetzt auch in Videospielen. Kuszmar und ein Kollege testeten einen Darth-Vader-Charakter im Spiel Fortnite, erstmals ausführlich von IEEE Spectrum berichtet. Dieser Charakter war mit Google Gemini, Googles großem Sprachmodell, verbunden. Sie verwendeten dieselbe Methode und erhielten Anweisungen zum Kartenzählen in einem Casino und zur Herstellung von Napalm.

Kuszmar betont, dass er die Genauigkeit jeder gefährlichen Antwort, die er erhielt, nicht bestätigen kann. Ein Chatbot, das sich bei Chemie irrt, ist immer noch gefährlich, weil eine Person, die falsche Anweisungen befolgt, trotzdem schweren Schaden anrichten kann.

Das tiefere Problem ist strukturell. KI-Unternehmen bauen Sicherheitsfilter in ihre Modelle ein, um schädliche Inhalte zu blockieren. Kuszmar argumentiert, dass diese Filter ihre eigene Schwäche schaffen: Da das Modell spontan entscheiden muss, was als gefährlich gilt, kann ein Angreifer, der die Wahrnehmung des Modells über Zeit, Ort oder Kontext verschiebt, die Torpfosten verschieben, ohne dass das Modell es bemerkt.

Er fordert KI-Labore auf, die Bereitstellung zu verlangsamen, mehr über ihre Sicherheitssysteme zu veröffentlichen und unabhängige Forschung zu diesen Lücken zu finanzieren, bevor die Technologie noch weiter in Krankenhäuser, Schulen und Regierungssysteme integriert wird.

Achten Sie auf diese Warnsignale in KI-Tools, die Sie verwenden:

• Ein Chatbot, das sich über aktuelle Daten oder aktuelle Ereignisse unsicher zu sein scheint, kann leichter manipuliert werden.
• KI-Charaktere in Spielen und Apps sind genauso anfällig wie eigenständige Chatbots, manchmal sogar noch mehr, weil Sicherheit als Verantwortung eines anderen betrachtet werden kann.
• Wenn ein KI-Tool unerwartet detaillierte Anweisungen zu etwas Gefährlichem gibt, melden Sie dies der Plattform und nehmen Sie nicht an, dass die Informationen korrekt sind.