120 Tech-Giganten wollen KI-Cybersicherheitsvorfälle vor dem nächsten Angriff austauschen
Ein neues Framework namens SAFE würde Unternehmen ermöglichen, KI-Sicherheitsmängel stillschweigend zu melden und gemeinsam davon zu lernen, statt dass jedes Unternehmen allein still leidet.
Wichtigste Punkte
- Mehr als 120 Organisationen der Open Secure AI Alliance schlugen das SAFE-Framework am 6. August 2025 vor, am Eröffnungstag der Black-Hat-Sicherheitskonferenz in Las Vegas.
- SAFE steht für Shared AI Findings Exchange, einen Satz von Richtlinien zur Erfassung und zum Austausch von KI-Sicherheitsvorfällen in der gesamten Branche.
- NVIDIA, Cisco, CrowdStrike, Amazon und Visa gehören zu den Mitgliedern, die Tools bereitstellen und der Alliance beitreten.
- Die Linux Foundation koordiniert eine öffentliche Kommentierungsphase, damit Organisationen die Richtlinien vor ihrer Finalisierung mitgestalten können.
- Teilnehmende Unternehmen geben auch Dutzende kostenloser Open-Source-Sicherheitstools frei, die speziell für KI-Agenten entwickelt wurden.
Eine Koalition von mehr als 120 Technologieunternehmen schlägt einen Weg vor, um KI-Sicherheit als gemeinsames Problem statt als private Schande zu behandeln.
Die Gruppe, genannt Open Secure AI Alliance, veröffentlichte am Mittwoch eine Aufforderung zu öffentlichen Stellungnahmen zum SAFE-Framework. SAFE ist die Kurzform für Shared AI Findings Exchange. Vereinfacht gesagt ist es ein Regelwerk für die vertrauliche Meldung von Sicherheitsvorfällen mit KI-Agenten (Software, die eigenständig mehrstufige Aufgaben ausführen kann, wie Besprechungen buchen, Code schreiben oder ein Netzwerk scannen), Analyse von Fehlern und Veröffentlichung von Erkenntnissen, damit jede Organisation davon profitiert.
Die Ankündigung kam am ersten Tag der Black Hat, der jährlichen Cybersicherheitskonferenz, auf der Forscher neue Angriffs- und Abwehrmethoden vorstellen.
Warum ist das für normale Menschen wichtig?
KI-Agenten werden schnell in Arbeitsumgebungen eingesetzt. Banken, Krankenhäuser, Versicherungen und Einzelhandelsbetriebe setzen sie bereits ein. Wenn einer ausfällt oder getäuscht wird, kann der Schaden sich schnell ausbreiten.
Derzeit halten die meisten Organisationen, die einen KI-Sicherheitsfehler erleiden, still darüber. Diese Stille bedeutet, dass das nächste Unternehmen denselben Fehler macht. SAFE würde das ändern, indem es einen vertrauenswürdigen Kanal für den Austausch schafft, was passiert ist, ohne Namen zu nennen, damit Verteidiger überall schneller lernen.
Das Framework schlägt vier konkrete Dinge vor: Vorfälle und beinahe-Vorfälle vertraulich erfassen und analysieren, Betroffene benachrichtigen, Muster identifizieren, wie Kontrollen versagen, und evidenzbasierte Empfehlungen veröffentlichen, um systematisches Risiko zu verringern.
Welche Tools werden bereits geteilt?
Über den SAFE-Vorschlag hinaus geben Alliance-Mitglieder schon jetzt kostenlose Tools frei.
NVIDIA, dessen Beiträge NVIDIA in seiner eigenen Ankündigung hervorhob, gab mehrere Positionen frei. Garak ist ein kostenloses Schwachstelle-Scanner, ein Tool, das KI-Modelle auf Schwächen wie Datenlecks, Prompt-Injection (eine Art Angriff, der eine KI täuscht, indem versteckte Anweisungen in ihre Eingabe geschleust werden) und Jailbreaks (Versuche, ein Modell dazu zu bringen, seine Sicherheitsregeln zu ignorieren) vor der Bereitstellung des Modells prüft. NeMo Guardrails erzwingt Sicherheitsrichtlinien zur Laufzeit. Die NVIDIA OpenShell Runtime beschränkt, worauf ein Agent tatsächlich zugreifen oder ändern kann.
| Beitragender | Tool | Was es tut |
|---|---|---|
| NVIDIA | Garak | Scannt KI-Modelle vor der Bereitstellung auf Schwachstellen |
| Microsoft | PyRIT | Automatisiert Red-Team-Tests von KI-Systemen |
| Amazon | Cedar | Setzt überprüfbare, nachprüfbare Grenzen, was Agenten tun können |
| Capital One | VulnHunter | Findet Sicherheitsmängel in KI-generiertem Code |
| Visa | Vulnerability Agentic Harness | Hilft Teams, Agent-Sicherheitsprobleme zu finden und zu beheben |
| Cisco | Antares SLMs | Kleine Sprachmodelle, die darauf trainiert sind, Schwachstellen in Code-Repositories zu erkennen |
Amazon trat der Alliance am selben Tag wie die Ankündigung bei und trug zwei Tools bei: Strands Agents, ein Open-Source-Toolkit zum Erstellen von KI-Agenten, und Cedar, eine Open-Source-Sprache zum Festlegen strikter, nachprüfbarer Regeln darüber, was ein Agent tun darf und nicht darf.
Visa trat auch bei und trug ein Schwachstelle-Test-Harness bei, das speziell für agentengestützte Systeme entwickelt wurde.
Was kommt als Nächstes?
Das SAFE-Framework ist immer noch ein Vorschlag. Die Linux Foundation sammelt Feedback, bevor eine endgültige Version veröffentlicht wird.
Für Unternehmen, die bereits KI-Agenten nutzen, ist der praktische Punkt, dass kostenlose, überprüfte Sicherheitstools heute verfügbar sind. Sicherheitsteams müssen nicht auf die Finalisierung der Richtlinien warten, bevor sie Garak, PyRIT oder Cedar verwenden, um das bereits Bereitgestellte zu sichern.
Häufig gestellte Fragen
Ist dieses Framework obligatorisch?
Nein. SAFE ist ein freiwilliger Satz von Richtlinien. Jede Organisation kann sich dafür entscheiden, es anzunehmen, zu ignorieren oder Stellungnahmen abzugeben, um es während der offenen Kommentierungsphase zu gestalten.
Bedeutet die gemeinsame Nutzung von Vorfallsdaten die Offenlegung von privaten Unternehmensinformationen?
Der Vorschlag verlangt ausdrücklich vertrauliche Erfassung und Analyse, was bedeutet, dass die Absicht darin besteht, Muster und Erkenntnisse zu teilen, anstatt offenzulegen, welches Unternehmen betroffen war oder wie seine internen Systeme aussehen.
Kosten diese Tools Geld?
Alle in der Ankündigung genannten Tools sind Open-Source, was bedeutet, dass sie kostenlos heruntergeladen und verwendet werden können. Sie werden auf Plattformen wie GitHub veröffentlicht, damit jedes Sicherheitsteam sie inspizieren und bereitstellen kann.
