Dein KI-Agent hat nicht halluziniert. Er hat nur etwas getan, das er nie hätte tun dürfen.
Eine wachsende Zahl von KI-Agenten im Unternehmensbereich führt echte Geschäftsmaßnahmen durch, ohne dazu eindeutig berechtigt zu sein. Das Problem liegt nicht in schlechten KI-Überlegungen. Es liegt daran, dass Unternehmen nicht definiert haben, wo die Macht der KI endet.
Wichtige Punkte
- Eine Umfrage der Cloud Security Alliance im April 2026 ergab, dass 65% von 418 IT- und Sicherheitsfachleuten im Vorjahr einen KI-Agent-bezogenen Zwischenfall erlebt hatten.
- Die gleiche Umfrage ergab, dass 82% der Befragten KI-Agenten in ihren Umgebungen entdeckt hatten, von denen niemand wusste.
- Das World Economic Forum veröffentlichte im Mai 2026 ein Handbuch mit einem formalen „Agent Capability and Authorization Profile", um die Maßnahmen von KI-Agenten nachvollziehbar zu machen.
- Singapurs aktualisiertes Model AI Governance Framework behandelt Zugriffskontrolle, Sicherheitsvorkehrungen und menschliche Genehmigungen als drei separate Probleme, nicht als eines.
- Experten sagen, dass die Lösung ein „Authority Contract" für jeden Agenten ist – eine maschinenlesbare Aufzeichnung davon, was die KI darf und nicht darf.
Die Rückerstattung hatte den richtigen Betrag. Die Bestelländerung entsprach dem, was der Kunde verlangt hatte. Der Lieferant, den die KI ausgewählt hatte, war wirklich der günstigste. Nichts davon spielte eine Rolle, denn die KI hätte dies nicht von sich aus tun dürfen.
Das ist das Problem, das sich stillschweigend in Unternehmen ausbreitet, die KI-Agenten eingesetzt haben – Software, die mehrstufige Aufgaben eigenständig in echten Geschäftssystemen ausführen kann. Der Agent ist nicht defekt. Das Unternehmen hat ihm nur nie gesagt, wo er aufhören soll.
Warum Content-Filter das nicht lösen
Die meisten Unternehmen konzentrierten sich zunächst auf Sicherheitsfilter, Tools, die eine KI daran hindern, etwas Schädliches zu sagen oder private Daten preiszugeben. Diese Filter sind wichtig. Aber sie beantworten eine andere Frage.
Ein Filter fragt: Ist dieser Output schädlich? Eine Autorisierungsfrage fragt: Darf diese KI diese Aktion überhaupt durchführen, auch wenn die Aktion vollkommen sicher und technisch korrekt ist?
Ein KI-Agent kann die richtige Rückerstattung berechnen, sie korrekt anwenden und dennoch das Dollarlimit überschreiten, das ein Manager genehmigen müsste. Niemand wurde verletzt. Nichts sah falsch aus. Das Problem kommt erst später ans Licht, wenn die Finanzabteilung die Zahlen überprüft.
Was sollten Unternehmen wirklich tun?
Die Antwort laut Governance-Frameworks der singapurischen Regierung und des World Economic Forum ist, jedem produktiven Agenten das zu geben, was einige Forscher einen „Authority Contract" nennen: eine maschinengestützte Aufzeichnung dessen, was der Agent tun darf, was er einem Menschen vorlegen muss und was er niemals anfassen darf, egal wie sicher er sich ist.
Jede Aktion des Agenten sollte zu einem der vier Ergebnisse führen:
| Ergebnis | Bedeutung | Beispiel |
|---|---|---|
| Erlaubt | Agent handelt allein | Abrufen eines genehmigten Dokuments |
| Genehmigung | Agent bereitet vor; Mensch bestätigt | Jede Zahlung oder Produktionsänderung |
| Empfehlung | Agent schlägt vor; Mensch entscheidet | Rechts- oder Finanzentscheidungen |
| Verweigert | Agent kann nicht handeln, niemals | Löschen kritischer Daten |
Ein Punkt wird konsequent übersehen. Eine „Verweigert"-Regel, die in einer einfachen Text-Anweisung an die KI geschrieben wird – die Art von Notiz, die ein Entwickler in die Systemeinrichtung eingibt – ist keine harte Grenze. Es ist ein Vorschlag, dem die KI möglicherweise nicht folgt. Die technische Durchsetzung muss außerhalb der KI selbst erfolgen.
Was bedeutet das für gewöhnliche Menschen?
Wenn du ein Kunde bist, erklärt das, warum ein KI-Chat-Agent eine Rückerstattung verarbeiten oder eine Bestellung ändern könnte, ohne dass ein Mensch sie überprüft. Meistens ist das in Ordnung. Wenn nicht, wird der Fehler möglicherweise nicht schnell bemerkt.
Wenn du in einem Unternehmen arbeitest, das KI-Agenten nutzt, achte auf Maßnahmen, die das System ergreift, ohne dass sie jemand ausdrücklich genehmigt hat. Eine Rückerstattung, die ein normales Limit überschritten hat. Ein Lieferantenvertrag, den die KI akzeptierte, statt ihn zu kennzeichnen. Eine Produktionssystemänderung, die nachts ohne menschliche Genehmigung durchgeführt wurde.
Wie VentureBeat in seiner Berichterstattung zur Bereitstellung von KI im Unternehmensbereich festgestellt hat, ist der gefährlichste KI-Fehler in der Wirtschaft oft keine Halluzination. Es ist eine technisch korrekte Maßnahme, zu deren Durchführung der Agent nicht befugt war.
Worauf du achten solltest: Jedes KI-Tool in deinem Unternehmen, das in Systeme schreiben, Gutschriften ausstellen oder Verpflichtungen gegenüber Dritten bestätigen kann, sollte eine dokumentierte Grenze haben, was es allein tun kann. Wenn niemand in deiner Organisation diese Grenze benennen kann, wurde sie wahrscheinlich nicht festgelegt.
