Sicherheitsvorkehrungen stoppten Hugging Faces eigene Ermittler, nicht den AI-Agenten, der eindrang

Wichtigste Punkte

• Am 16. Juli gab Hugging Face bekannt, dass ein autonomer KI-Agent – Software, die mehrstufige Aufgaben selbstständig ohne menschliche Anleitung ausführt – an einem Wochenende in seine Produktionsinfrastruktur eindrang.
• Der Angreifer kam durch einen bösartigen Datensatz herein, eine manipulierte Datei, die nach dem Verarbeiten durch Hugging Faces Pipeline auf zwei verschiedene Arten Codeausführung auslöste.
• Kommerzielle KI-Sicherheitsfilter blockierten Hugging Faces eigenes Incident-Response-Team, als Ermittler echte Angriffsevidenz zur Analyse einreichen wollten.
• Die Verteidiger führten ihre forensische Arbeit mit GLM 5.2 durch, einem Open-Weight-Modell (dessen Code öffentlich verfügbar ist und privat ausgeführt werden kann), das auf den eigenen Servern des Unternehmens eingesetzt wird und alle sensiblen Daten im Haus behält.
• CrowdStrike's Global Threat Report 2026 fand heraus, dass KI-gestützte Angriffe um 89 Prozent Jahr für Jahr angestiegen sind, mit durchschnittlichen Ausbruchszeiten, die auf 29 Minuten sanken.

Hugging Face, die Plattform, die Zehntausende öffentlich geteilter KI-Modelle und Datensätze hostet, gab am 16. Juli bekannt, dass ein Angreifer in seine Produktionsinfrastruktur eindrang. Der Verstoß dauerte ein ganzes Wochenende. Eine begrenzte Anzahl interner Datensätze und Service-Anmeldedaten wurden aufgerufen. Das Unternehmen gibt an, dass seine öffentlichen Modelle und Datensätze keine Zeichen von Manipulation aufweisen, und prüft noch, ob Partner- oder Kundendaten berührt wurden.

Ungewöhnlich an diesem Vorfall war der Angreifer: Kein Mensch führte die Kampagne durch. Ein autonomer KI-Agent übernahm alles, vom ersten Zugriffspunkt bis zur Anmeldedaten-Erfassung, und führte Tausende einzelner Aktionen durch einen Schwarm kurzlebiger, verwerfbarer Rechenumgebungen aus.

Der Einstiegspunkt war ein bösartiger Datensatz, eine Datei, die absichtlich so gestaltet wurde, um zwei Code-Ausführungswege auszunutzen, sobald sie von Hugging Faces Datenverarbeitungs-Pipeline verarbeitet wurde. Ein Weg verwendete einen Remote-Code-Loader; der andere nutzte einen Template-Injection-Fehler – einen Bug, der versteckte Anweisungen in einer Datei als Befehle ausführt – in den Konfigurationsdateien des Datensatzes. Kein Überprüfungsschritt kontrollierte die Datei, bevor sie einen Verarbeitungsworker erreichte, den Rechenjob, der für die Handhabung jedes Datensatzes zuständig ist.

Von diesem Zugriffspunkt brach der Agent auf den zugrunde liegenden Server-Knoten aus und sammelte Cloud- und Cluster-Anmeldedaten mit breitem genug Zugriff, um sich über mehrere interne Cluster zu bewegen.

Warum konnten Verteidiger nicht einfach eine KI um Hilfe bitten?

Sie versuchten es. Als Hugging Faces Incident-Response-Team echte Angriffsbefehle, Malware-Muster und andere forensische Evidenz an kommerzielle KI-Dienste übermittelte, lehnten die Sicherheitsfilter die Anfragen rundweg ab. Das Problem, wie der Sicherheitsberater Merritt Baer gegenüber VentureBeat sagte, ist struktureller Natur. „Die gleichen Prompts, die während eines aktiven Eindringens am wertvollsten sind, sind genau die Prompts, die am ehesten Sicherheitssysteme auslösen", sagte sie.

Kommerzielle Modelle haben keine zuverlässige Möglichkeit, einen zertifizierten Incident Responder von einem Angreifer zu unterscheiden. Beide stellen die gleichen Fragen.

Die Verteidiger verwendeten letztendlich GLM 5.2, ein Open-Weight-Modell, das auf Hugging Faces eigener Infrastruktur läuft, um mehr als 17.000 aufgezeichnete Ereignisse zu rekonstruieren. Keine sensiblen Daten verließen das Haus.

Hugging Face war offen über die Asymmetrie. Das Unternehmen schrieb in seiner Offenlegung, dass „der Angreifer nicht an eine Nutzungsrichtlinie gebunden war, während unsere eigene forensische Arbeit durch die Schutzmaßnahmen der gehosteten Modelle, die wir zuerst versuchten, blockiert wurde." Es sagte auch, dass dies kein Argument gegen Sicherheitsmaßnahmen ist, und dass es das Feedback mit den beteiligten kommerziellen Anbietern geteilt hat.

Baers praktischer Rat für Sicherheitsteams ist direkt: Behandeln Sie kommerzielle KI-APIs wie jede Abhängigkeit, die während einer Krise ausfallen könnte. Ein ausgereifter Incident-Response-Plan sollte davon ausgehen, dass diese Tools möglicherweise genau dann nicht verfügbar sind, wenn Sie sie am meisten brauchen. Halten Sie eine lokale oder private Modelloption bereit. Beschränken Sie alle Anmeldedaten auf den minimal erforderlichen Zugriff. Und überprüfen Sie Daten, die in Ihre Pipelines eingehen, so sorgfältig wie alles andere.

Für gewöhnliche Nutzer von Hugging Face gibt das Unternehmen an, dass es keine Hinweise darauf gibt, dass öffentliche Modelle oder Datensätze geändert wurden. Falls Sie betroffen sind, sagt das Unternehmen, dass es Sie direkt kontaktieren wird.