Fünf Dinge, die Unternehmensführer vor dem Einsatz von KI-Agenten wissen müssen
Intel führte Tausende von Experimenten mit agentengestützten KI-Arbeitslasten durch und stellte fest, dass die meisten Organisationen die falschen Kennzahlen messen. Hier ist, was beim Übergang über Chatbots hinaus wirklich zählt.
Wichtigste Punkte
- Intel führte Tausende von Experimenten mit agentengestützten KI-Arbeitslasten durch, um zu messen, wie KI-Agenten über vollständige Unternehmenssysteme hinweg funktionieren, nicht nur KI-Modellreaktionen.
- Die meisten vorhandenen Benchmarking-Tools messen nur, wie gut das zugrunde liegende KI-Modell funktioniert, und verpassen dabei das gesamte Systembild völlig.
- Die richtige Kapazitätskennzahl ist Agenten pro virtueller CPU (vCPU), eine Recheneinheit, die einen Anteil der Verarbeitungsleistung eines Servers darstellt, nicht die Gesamtzahl der Agenten.
- Die Überwachung der durchschnittlichen CPU-Auslastung kann ernsthafte Verlangsamungen verbergen; Task-Latenz, die Zeit, die ein Task tatsächlich zur Ausführung benötigt, ist ein besseres Warnsignal.
- Die Verteilung von Arbeitslasten auf mehrere Server ist normalerweise billiger und zuverlässiger als die Aufrüstung einer großen Maschine, wenn Agenten im großen Maßstab ausgeführt werden.
KI-Agenten sind Software, die mehrschrittigen Tasks selbstständig planen und ausführen kann – Meetings buchen, Support-Tickets einordnen, Code-Tests durchführen – ohne dass ein Mensch jeden Schritt anklicken muss. Unternehmen setzen stark auf sie. Doch neue Erkenntnisse von Intel deuten darauf hin, dass die meisten Organisationen das Problem falsch angehen.
Intel erweiterte Terminal-Bench, ein Open-Source-Test-Framework zur Bewertung des Verhaltens von KI-Agenten, um Profiling-Tools und detaillierte Telemetrie (Daten darüber, wie Software tatsächlich läuft). Das Team führte die Agenten bei Tasks durch, die von Datenbankabfragen bis zur Videokodierung reichten, und zeichnete die Ergebnisse auf.
Die Erkenntnisse wurden als praktischer Leitfaden für Enterprise-Technologie-Teams veröffentlicht und waren ursprünglich als gesponserte Inhalte von Intel im MIT Technology Review zu sehen.
Was machen Unternehmen falsch?
Die meisten Teams messen das KI-Modell selbst: Wie genau ist es, wie schnell antwortet es? Das übersieht das Meiste, das einen Agenten in der realen Welt langsam oder unzuverlässig macht.
Ein Agent tut viel mehr, als mit einem Sprachmodell zu sprechen. Er liest Daten, ruft externe Tools auf, überprüft Ergebnisse und versucht es erneut, wenn etwas schiefgeht. Jeder dieser Schritte kostet Zeit und Rechenleistung. Intel stellte fest, dass die Konzentration auf die reine Modellleistung dir fast nichts über die Frage sagt, ob deine Agent-Flotte unter realer geschäftlicher Last standhält.
Die sechs Kennzahlen, die Intel empfiehlt zu verfolgen, sind: Task-Erfolgsquote, Kosten pro Task, Zeit pro Task, Task-Durchsatz (wie viele Tasks das System in einem bestimmten Zeitraum abschließt), Agent-Dichte (Agenten pro vCPU) und End-to-End-Latenz.
Wie sollten Teams Skalierung planen?
Dimensioniere dein System nach Agent-Dichte, nicht nach Agent-Anzahl. Zehn Agenten auf einem 8-vCPU-Server verhalten sich nahezu identisch mit 20 Agenten auf einem 16-vCPU-Server, weil die Dichte gleich ist. Diese einzige Erkenntnis ermöglicht es Architekten, verschiedene Servergrößen fair zu vergleichen.
Zieldichten hängen auch davon ab, was die Agenten tun. Agenten, die direkt mit Mitarbeitern kommunizieren, brauchen schnelle Reaktionszeiten, daher haltet ihr die Dichte niedrig. Hintergrund-Batch-Jobs wie automatisierte IT-Workflows oder nächtliche Code-Test-Durchläufe können mit höherer Dichte ausgeführt werden, ohne dass jemand eine leichte Verzögerung bemerkt.
| Arbeitstyp | Empfohlene Dichte | Warum |
|---|---|---|
| Interaktiver Copilot / Assistent für Benutzer | Niedrigere Dichte | Reaktionszeit ist für Benutzer sichtbar |
| Batch-IT- oder Test-Workflows | Höhere Dichte | Leichte Verzögerungen akzeptabel |
| Schwere parallele Rechenaufgaben | Aufskalieren (leistungsfähigerer einzelner Server) | Benötigt konzentrierte Verarbeitungsleistung |
| Die meisten anderen Enterprise-Arbeitslasten | Auswaarts skalieren (mehr Server) | Billiger, zuverlässiger, leichter zu erweitern |
Beim Skalieren schlägt das Hinzufügen weiterer Server (Scale-Out) das Aufrüsten einer einzelnen leistungsstarken Maschine (Scale-Up) für fast jede Standard-Agent-Arbeitslast. Agenten sind weitgehend unabhängig voneinander, daher verbessert die Verteilung auf Maschinen die Verfügbarkeit und hält die Kosten beim Flottenwachstum niedrig.
Was bedeutet das für Personen, die diese Systeme betreiben?
Beobachte die P95-Task-Latenz, die Zeit, bis 95 Prozent der Tasks abgeschlossen sind, anstatt der durchschnittlichen CPU-Auslastung. Die durchschnittliche Auslastung sieht gut aus, bis sich Warteschlangen aufbauen und Benutzer warten müssen. Die P95-Latenz fängt dieses Problem früher auf.
Die Organisationen, die echte Ergebnisse sehen, führen keine Experimente durch. Sie wickeln Agenten um Workflows herum, die bereits klare Regeln haben: Code-Review, Regressionstests (automatisierte Überprüfungen, dass neue Software alte Features nicht beschädigt hat), Ticket-Einteilung und Sicherheitsprüfungen. Das sind die Orte, an denen Agenten messbare Produktivitätssteigerungen erzeugen, ohne dass die Organisation alles auf einmal überdenken muss.
Häufig gestellte Fragen
Benötige ich spezielle Hardware, um KI-Agenten auszuführen?
Nicht unbedingt. Intels Erkenntnisse deuten darauf hin, dass das Hinzufügen weiterer Standard-Server (Scale-Out) für die meisten Agent-Arbeitslasten besser funktioniert als der Kauf einer sehr leistungsstarken Maschine. Spezialisierte Hardware ist nur dann zu berücksichtigen, wenn Agenten schwere parallele Berechnungen benötigen oder Zustände auf Weise teilen, die es impraktisch macht, sie über Server zu verteilen.
Wie unterscheidet sich ein KI-Agent von einem Chatbot?
Ein Chatbot beantwortet Fragen. Ein Agent plant eine Abfolge von Schritten, nutzt Tools wie Datenbanken oder Code-Compiler, überprüft, ob jeder Schritt funktioniert hat, und versucht es erneut, wenn nicht. Diese zusätzliche Komplexität ist der Grund, warum das gute Ausführen von Agenten bedeutet, dass man das gesamte System denken muss, nicht nur das KI-Modell in der Mitte.
Sind diese Erkenntnisse Peer-Review-Forschung?
Nein. Diese Arbeit stammt aus Intels eigenen internen Experimenten und wurde als herstellergesponserte Inhalte veröffentlicht. Das zugrunde liegende Terminal-Bench-Framework ist Open-Source und für eine unabhängige Überprüfung verfügbar, aber die spezifischen Erkenntnisse wurden nicht unabhängig repliziert oder in einer begutachteten Zeitschrift veröffentlicht.
