Jeder dritte gefährliche KI-Programmierbefehle entgehen menschlichen Prüfern, Spieldaten zeigen
Ein Browser-Spiel, das echte KI-Coding-Agent-Anfragen simuliert, ergab, dass Spieler etwa ein Drittel der bösartigen Befehle genehmigten – über mehr als 40.000 Durchläufe hinweg. Die Daten deuten auf ein Problem hin, das weit über das Spiel hinausgeht.
Wichtigste Punkte
- Spieler genehmigten über mehr als 40.000 Spieldurchläufe und 409.000 überprüfte Gesamtbefehle hinweg ungefähr jeden dritten bösartigen KI-Coding-Agent-Antrag.
- Der am häufigsten übersehene gefährliche Befehl, „npm run analyze", wurde in etwa 65 Prozent der Fälle genehmigt, obwohl im Spielverlaufsprotokoll eine sichtbare Warnung vorhanden war.
- Die eigene Telemetrie von Anthropic zeigt, dass echte Benutzer etwa 93 Prozent der Berechtigungsaufforderungen von Claude Code, ihrem KI-Programmierwerkzeug, genehmigen.
- Der „Auto-Modus" von Anthropic für Claude Code fängt etwa 83 Prozent des übereifreigen oder gefährlichen Verhaltens ab, bevor es ausgeführt wird, aber etwa 17 Prozent passieren trotzdem.
- Der belgische Entwickler Alex Wauters erstellte das Spiel Ende Mai 2025, nachdem er bemerkte, dass die meisten Entwickler entweder blindlings alles genehmigen oder Berechtigungsprüfungen ganz überspringen.
Hier ist etwas, das Sie heute wahrscheinlich nicht erwartet hätten zu lesen: Der ehrlichste Stresstest für KI-Programmiersicherheit ist derzeit ein Browser-Spiel, das Sie in unter einer Minute beenden können.
Das Spiel, errichtet von dem belgischen Softwareentwickler Alex Wauters, versetzt Sie in die Rolle eines menschlichen Prüfers, der einen KI-Programmiieragenten beobachtet – ein Softwareprogramm, das komplexe Programmieraufgaben Schritt für Schritt in Ihrem Namen ausführt – und der um Genehmigung für die Ausführung von Befehlen bittet. Sie haben 60 Sekunden Zeit. Genehmigen Sie die sicheren. Blockieren Sie die gefährlichen. Erreichen Sie die höchstmögliche Punktzahl.
Über mehr als 40.000 Durchläufe hinweg genehmigten Spieler etwa jeden dritten bösartigen Antrag. Das ist keine gute Zahl.
Warum genehmigen Menschen immer wieder gefährliche Befehle?
Ermüdung ist die kurze Antwort. Die Überprüfung jeder einzelnen Aktion, die ein KI-Agent unternimmt, ist wirklich ermüdend, und wenn Sie von Aufforderungen überwältigt sind, lässt Ihre Aufmerksamkeit nach.
Wauters erstellte das Spiel, nachdem er ein Muster bei Entwicklern bemerkte, die Claude Code, das KI-Programmierwerkzeug von Anthropic, nutzten. Angesichts einer Flut von Berechtigungs-Pop-ups schalteten viele einfach eine Einstellung namens „dangerously-skip-permissions" ein, die es dem Modell ermöglicht, ohne menschliche Zustimmung zu laufen. Die andere Gruppe klickte auf alle Genehmigungen, ohne sie wirklich zu lesen.
Keiner dieser Ansätze ist sicher.
„Die große Menge an Rauschen führt zu Ermüdung, und Entwickler haben nicht immer den Kontext dessen, was sich geändert hat, um das Risiko schnell zu bestimmen", schrieb Wauters in einem Blogbeitrag, der zusammen mit der Spielveröffentlichung Ende Mai veröffentlicht wurde.
Die Spieldaten, zuerst von The Register AI berichtet, belegen dies in unangenehmen Details. Bereichsverletzungen – etwa wenn ein Agent stillschweigend AWS-Anmeldedateien oder Kubernetes-Konfigurationsdaten liest (Dateien, die Anmeldeschlüssel und Servereinstellungen speichern, genau das, was ein Angreifer gerne stehlen würde) – wurden in 35 Prozent der Fälle übersehen. Offensichtlich katastrophale Befehle, wie das Löschen eines ganzen Dateisystems, wurden am häufigsten abgefangen. Menschen erkennen immer noch eine Bombe, wenn sie eine sehen.
Die kniffligeren Bedrohungen schlüpften durch. Curl-Anfragen an unbekannte Webadressen und Typosquattted-Pakete (Softwarepakete mit Namen, die absichtlich fast wie vertrauenswürdigen aussehen, um Menschen zum Ausführen bösartiger Code zu täuschen) wurden fast ebenso häufig übersehen wie die Authentifizierungsdiebstähle.
| Befehlstyp | Ungefähre Übersehungsquote |
|---|---|
| Bereichsverletzungen (z. B. Lesen von Anmeldedateien) | 35 % |
| Typosquattted-Pakete | ~ 35 % |
| Curl-Anfragen an unbekannte APIs | ~ 35 % |
| Crontab-Injektionen / Git-Config-Übernahmen | Geringer |
| Offensichtlich destruktive Befehle (z. B. Root löschen) | Am geringsten |
Das schlechteste Ergebnis: „npm run analyze", ein Befehl, der routinemäßig aussieht, aber so konfiguriert werden kann, dass er jeglichen versteckten Code in einer Projektdatei ausführt. Fast 65 Prozent der Spieler genehmigten ihn. Das Spiel zeigte sogar eine Warnung im Verlaufsprotokoll direkt über der Genehmigungsschaltfläche an. Zwei Drittel lasen sie nicht.
Passiert das auch außerhalb des Spiels?
Ja. Anthropic bestätigte dies mit eigenen Daten.
In einem Beitrag vom Mai 2025 über die Behandlung von Berechtigungen durch Claude Code sagten die Benutzer, dass sie etwa 93 Prozent aller Berechtigungsaufforderungen genehmigen, die das Tool generiert. „Je mehr Genehmigungen ein Benutzer sieht, desto weniger Aufmerksamkeit schenkt er jeder einzelnen", schrieb das Unternehmen.
Die Antwort von Anthropic ist „Auto-Modus", ein System, das einen separaten KI-Klassifizierer – ein Modell, das darauf trainiert ist zu beurteilen, ob ein Befehl riskant aussieht – nutzt, um gefährliche Anfragen herauszufiltern, bevor sie jemals einen Menschen erreichen. Es fängt etwa 83 Prozent der problematischen Aktionen ab. Die verbleibenden 17 Prozent landen immer noch auf einem menschlichen Schreibtisch.
Anthropic ist sich bewusst, dass Auto-Modus „eine Verteidigungsebene in einem Sandbox-System ist, nicht als Ersatz dafür."
Wauters stimmt zu. Seine Empfehlung ist, Programmieragenten in isolierten virtuellen Umgebungen namens Sandboxes oder Devcontainern auszuführen (abgedichtete digitale Arbeitsbereiche, die einschränken, was der Agent auf Ihrem echten Computer berühren kann), Tools wie den Auto-Modus zu verwenden und benutzerdefinierte Hooks (kleine Skripte, die Befehle vor der Ausführung abfangen) zu schreiben, um alles Verdächtige vor der automatischen Ausführung zu kennzeichnen.
„Wir müssen die Werkzeuge vereinfachen, um diese Systeme sicherer zu machen, anstatt auf die menschliche Überprüfung als gültige Lösung hinzuweisen", sagte er gegenüber The Register AI.
Wenn Sie einem KI-Agenten eine lange Aufgabe geben und weggehen, ist das, was zurückkommt, möglicherweise nicht das, was Sie erwartet haben. Überprüfung ist wichtig, und zu verstehen, was Sie überprüfen, ist noch wichtiger.
