KI-Agenten erhalten mehr Entscheidungsbefugnisse, als Unternehmen tatsächlich überprüfen können

Wichtige Punkte

• In einer Umfrage vom Juni 2026 unter 157 Enterprise-Teams gaben 50% an, einen KI-Agenten oder eine KI-Funktion eingesetzt zu haben, die interne Tests bestanden hat und dann zu einem Fehler im Kundenerlebnis führte.
• Ein Viertel dieser Unternehmen erlebte diese Art von Fehler mehr als einmal.
• 66% der befragten Unternehmen ermöglichen bereits eine KI-Bereitstellung ohne menschliche Überprüfung oder planen dies innerhalb von 12 Monaten.
• Nur 5% der Befragten gaben an, dass sie den automatisierten Testsystemen vollständig vertrauen, die entscheiden, ob eine KI einsatzbereit ist.
• Größere Unternehmen mit 2.500 oder mehr Mitarbeitern bewegen sich am schnellsten auf vollständige Automatisierung ohne menschliche Überwachung zu und berichten gleichzeitig von mehr Kundenfehlern als kleinere Unternehmen.

Stellen Sie sich einen Qualitätsprüfer vor, der stillschweigend zugibt, dass die Checkliste größtenteils falsch ist. Das ist ungefähr die Situation, die eine von VentureBeat veröffentlichte Umfrage derzeit in einem großen Teil der KI-Teams von Unternehmen beschreibt.

Die Juni-2026-Umfrage von VB Pulse befragte 157 Personen in Unternehmen mit 100 oder mehr Mitarbeitern, wie sie KI-Agenten testen und einführen – Softwareprogramme, die mehrstufige Aufgaben eigenständig ausführen können, wie die Bearbeitung einer Kundenrückerstattung, die Aktualisierung eines Datensatzes oder das Verfassen und Versenden einer Nachricht ohne dass ein Mensch auf „Senden" klickt. Die Stichprobe war selbstgewählt und nicht zufällig ausgewählt, daher sollten die Zahlen als Signal und nicht als Vollerhebung betrachtet werden.

Das Signal ist unbequem. Die Hälfte der befragten Unternehmen hatte bereits einen Agenten eingesetzt, der alle internen Tests bestanden hat und trotzdem ein Kundenerlebnis beeinträchtigt hat. Ein Viertel hatte dies mehr als einmal getan.

Warum garantiert ein bestandener Test keinen funktionierenden Agenten?

Weil herkömmliche Softwaretests überprüfen, ob eine feste Eingabe zu einer erwarteten Ausgabe führt, und KI-Agenten funktionieren nicht so. Ein Agent wählt seine eigene Schrittfolge, ruft externe Tools auf, bezieht Live-Daten ein und kann sich bei jeder Ausführung unterschiedlich verhalten, selbst bei derselben Aufgabe.

Ein Agent kann fünf Schritte genau richtig ausführen und dann beim sechsten sensible Informationen preisgeben. Er kann eine gültige Rückerstattung entwerfen und versenden, ohne auf Genehmigung zu warten. Jede einzelne Entscheidung sieht in Ordnung aus. Das Endergebnis ist ein Problem.

Das US National Institute of Standards and Technology machte eine ähnliche Beobachtung in seiner Generative-AI-Profile-Anleitung: Das Verhalten, das in einer kontrollierten Testumgebung gemessen wird, hält oft nicht an, wenn echte Benutzer, unvorhersehbare Eingaben und Live-Daten ins Spiel kommen. Die Anleitung fordert Feldtests und laufende Überwachung nach dem Start, nicht nur eine Bewertung vor der Veröffentlichung.

Die Umfrageteilnehmer selbst scheinen dies zu verstehen. Bei der Frage, warum sie automatisierten Tests nicht vertrauen, war die häufigste Antwort, die von 29% gegeben wurde, dass Testergebnisse nicht damit übereinstimmen, was in der realen Welt tatsächlich passiert.

Und doch nimmt die Autonomie weiter zu. Zwei Drittel der befragten Unternehmen führen bereits Bereitstellungen ohne jegliche menschliche Kontrolle durch oder arbeiten aktiv daran. Nur 5% vertrauen vollständig auf die automatisierten Überprüfungen, die die Arbeit übernehmen würden, die früher ein menschlicher Prüfer geleistet hat.

Diese Lücke, wachsende Autonomie auf Basis unsicherer Gewährleistung, ist das Kernproblem.

Anthropics Anleitung zur Agentenevaluierung zieht hier eine nützliche Grenze: Ein System, das einmal erfolgreich ist, ist nicht dasselbe wie ein System, das zuverlässig erfolgreich ist. Für alles, das Kunden, Geld oder Daten betrifft, ist Zuverlässigkeit der einzige Maßstab, der zählt.

Was sollten Unternehmen tatsächlich tun? Führen Sie jedes Szenario mehrmals aus. Variieren Sie die Formulierung und den Kontext. Simulieren Sie Werkzeugausfälle. Wenn ein echter Zwischenfall in der Produktion auftritt, verwandeln Sie ihn in einen permanenten Testfall, damit derselbe Fehler nicht stillschweigend erneut auftritt. Und erweitern Sie die Automatisierung ohne menschliche Überwachung nur dort, wo die Konsequenzen eines Fehlers wirklich gering sind – das Verfassen einer internen Zusammenfassung ist nicht dasselbe wie die Genehmigung einer Finanztransaktion.

Die Entfernung eines Menschen aus einem Prozess beseitigt das Risiko nicht. Sie beseitigt nur die Person, die es möglicherweise erkannt hätte.