Ein perfektes KI-Gespräch kann dennoch ein kaputtes Produkt bedeuten, warnen Branchenführer

Wichtigste Punkte

• Harrison Chase, CEO von LangChain, sagte auf der VB Transform 2026, dass viele Teams unter „Eval-Lähmung" leiden und niemals ausliefern, weil sie vor dem Start eine perfekte Test-Suite anstreben.
• Hui Zhang, CTO von Conviva, zeigte, wie ein einzelnes KI-Gespräch isoliert betrachtet gut bewertet werden kann, während ein kategoriebezogenes Problem nur sichtbar wird, wenn man Tausende von Nutzern mit einem Baseline-Wert vergleicht.
• LangChain verfeinerte sein eigenes kleines KI-Modell, um nutzerseitig wahrgenommene Fehler 10 bis 100 Mal kostengünstiger zu erkennen als mit Anthropics Claude Sonnet, einem führenden kommerziellen KI-Modell.
• Alle drei Führungskräfte stimmten darin überein, dass eine menschliche Genehmigung in regulierten Bereichen wie Jura, Finanzen und Gesundheitswesen weiterhin unverzichtbar ist, auch wenn die automatische Überprüfung skaliert wird.

Stellen Sie sich einen Kunden vor, der einen KI-Shopping-Assistenten um Laufschuhe vor einem Halbmarathon bittet. Der Assistent stellt ein paar Fragen, der Kunde kauft ein Paar, und das Gespräch endet. Bewerten Sie diese Interaktion isoliert: Sie sieht in Ordnung aus.

Betrachten Sie nun das Gesamtbild. Über Tausende ähnlicher Gespräche hinweg stellte dieser Assistent Klärungsfragen dreimal häufiger als normal für diese Schuhkategorie. Kunden schlossen ihre Käufe außerhalb des Chats fünfmal häufiger ab als üblich. Etwas ist eindeutig kaputt. Aber Sie würden es nie sehen, wenn Sie ein Gespräch nach dem anderen überprüfen.

Das war das zentrale Argument auf der VB Transform 2026, zuerst von VentureBeat berichtet, wo Führungskräfte von drei KI-Infrastrukturunternehmen beschrieben, wie Enterprise-Teams die Evaluierung von Agenten völlig falsch angehen.

Messen Teams die richtigen Dinge?

Die meisten tun das nicht. Hui Zhang, CTO von Conviva, einem Streaming-Analytics-Unternehmen, nennt den besseren Ansatz „kontrastive Analyse": eine Gruppe von Nutzern mit einem historischen Baseline-Wert vergleichen, anstatt einzelne Chat-Protokolle zu bewerten. Einzelne Scores sehen gut aus. Bevölkerungsmuster offenbaren den eigentlichen Bug.

Harrison Chase, CEO von LangChain, dem Unternehmen hinter einem beliebten Framework zum Erstellen von KI-Agenten (Software, die mehrstufige Aufgaben eigenständig ausführen kann), benannte eine zweite Falle. Teams erstellen umfangreiche Test-Suites vor dem Start und liefern dann nie aus.

„Wir sehen manchmal Teams, die fast eine Eval-Lähmung haben", sagte Chase. „Die besten Teams starten und iterieren dann."

Seine Rahmenbedingung: Behandeln Sie Evaluierungskriterien wie eine lebende Produktspezifikation, die sich aktualisiert, wenn echte Probleme auftauchen, nicht wie eine Checkliste, die Sie einmal abhaken.

Emmanuel Turlay, Direktor für Engineering bei CoreWeave, einem GPU-Cloud-Anbieter (GPU bezieht sich auf die spezialisierten Chips, die die numerische Rechenleistung durchführen, die KI benötigt), stieß von der Engineering-Seite auf die gleiche Mauer. Er strebte 100-prozentige Test-Abdeckung an und lieferte trotzdem Bugs aus. Seine Lösung: Richten Sie zuerst umfassendes kontinuierliches Monitoring ein, lassen Sie echte Fehler Sie lehren, welche Tests Sie als nächstes schreiben.

Sobald eine Problemkategorie auftaucht, stellt sich auch eine Kostenfrage. Turlays Regel ist, mit dem leistungsfähigsten KI-Modell zu beginnen, um zu beweisen, dass etwas lösbar ist, dann zu billigeren, kleineren Modellen für Routineüberprüfungen überzugehen. LangChain machte genau das. Es verfeinerte ein Qwen-Modell (eine Open-Source-Modellfamilie von Alibaba), um Momente zu erkennen, in denen Nutzer das Gefühl hatten, dass der Agent einen Fehler gemacht hat. Das Ergebnis entsprach Claudes Genauigkeit zu einem Bruchteil des Preises. Chase merkte an, dass einige Schutzmaßnahmen nicht einmal ein Modell brauchen: einfacher Pattern-Matching-Code, genannt Regex, handhabt viele Überprüfungen zu nahezu Nullkosten.

Die menschliche Frage durchzieht all das. Turlay stützte sich auf seine frühere Arbeit bei einem Autonomfahrzeug-Unternehmen: Selbst nach der Komprimierung des Test-Zyklus auf zwei Wochen musste eine Person das Modell genehmigen, bevor es ins Fahrzeug ging. Die gleiche Logik gilt für KI-Agenten, die medizinische Ratschläge, finanzielle Entscheidungen oder juristische Dokumente bearbeiten.

Chase ging noch weiter und argumentierte, dass die menschliche Überprüfung nicht nur ein Sicherheitsnetz ist. Es ist, wie das System lernt. Ohne menschliches Feedback in der Schleife hat der Agent nichts, um darauf zu verbessern.