Fünf Dinge, die Enterprise-Führungskräfte vor der Bereitstellung von KI-Agenten wissen müssen
Intel führte Tausende von Experimenten mit agentenbasierten KI-Workloads durch und stellte fest, dass die meisten Organisationen die falschen Metriken messen. Hier ist, worauf es ankommt, wenn man über Chatbots hinausgeht.
Wichtigste Punkte
- Intel führte Tausende von agentenbasierten KI-Workload-Experimenten durch, um zu messen, wie KI-Agenten in vollständigen Unternehmenssystemen funktionieren, nicht nur in KI-Modell-Antworten.
- Die meisten vorhandenen Benchmark-Tools messen nur, wie gut das zugrunde liegende KI-Modell funktioniert, und übersehen das größere Systembild völlig.
- Die richtige Kapazitätsmetrik ist Agenten pro virtuellem CPU (vCPU), einer Recheneinheit, die einen Prozessorkern eines Servers darstellt, nicht die Gesamtanzahl der Agenten.
- Die Überwachung der durchschnittlichen CPU-Auslastung kann ernsthafte Verlangsamungen verschleiern; Task-Latenz, die Zeit, die ein Task tatsächlich braucht, um abgeschlossen zu werden, ist ein besseres Warnsignal.
- Workloads auf mehrere Server zu verteilen statt eine große Maschine zu erweitern, ist normalerweise der kostengünstigere und zuverlässigere Ansatz, um Agenten im großen Maßstab zu betreiben.
KI-Agenten sind Software, die mehrstufige Aufgaben eigenständig planen und ausführen kann – Meetings buchen, Support-Tickets bearbeiten, Code-Tests durchführen, ohne dass ein Mensch jeden Schritt anklickt. Unternehmen setzen stark auf sie. Aber Intels neue Erkenntnisse deuten darauf hin, dass die meisten Organisationen das Problem falsch sehen.
Intel erweiterte Terminal-Bench, ein Open-Source-Test-Framework zur Bewertung des Verhaltens von KI-Agenten, um Profiling-Tools und Telemetrie (Daten über die tatsächliche Ausführung von Software). Die Aufgaben reichten von Datenbankabfragen bis zur Videotranskodierung. Die Erkenntnisse wurden als praktischer Leitfaden für Unternehmens-IT-Teams veröffentlicht und ursprünglich von MIT Technology Review als gesponserte Inhalte von Intel präsentiert.
Es ist ein Muster, das unsere frühere Geschichte "Dein KI-Chatbot ist nicht kaputt. Deine Datenpipeline ist es." im Juli aufgegriffen hat: Enterprise-Teams beschuldigen ständig das Modell, wenn das eigentliche Problem anderswo im System liegt.
Was machen Unternehmen falsch?
Die meisten Teams messen das KI-Modell selbst: Genauigkeit und Antwortgeschwindigkeit. Das übersieht das meiste, was einen Agenten in der Praxis langsam oder unzuverlässig macht.
Ein Agent tut viel mehr als ein Sprachmodell abzufragen. Er liest Daten, ruft Tools auf, überprüft Ergebnisse und versucht es erneut, wenn etwas fehlschlägt. Jeder Schritt braucht Zeit und Rechenleistung. Intel stellte fest, dass die Modellleistung allein dir fast nichts darüber sagt, ob deine Agent-Flotte unter echter Geschäftslast standhält.
Die sechs Metriken, die Intel empfiehlt zu verfolgen, sind: Task-Erfolgsrate, Kosten pro Task, Zeit pro Task, Task-Durchsatz (wie viele Tasks das System in einem bestimmten Zeitraum abschließt), Agent-Dichte (Agenten pro vCPU) und End-to-End-Latenz.
Wie sollten Teams für Skalierung planen?
Dimensioniere dein System anhand von Agent-Dichte, nicht der Gesamtzahl der Agenten. Zehn Agenten auf einem 8-vCPU-Server verhalten sich fast identisch wie 20 Agenten auf einem 16-vCPU-Server, weil die Dichte gleich ist. Diese einzige Erkenntnis ermöglicht es Architekten, verschiedene Servergrößen fair zu vergleichen.
Dichte-Ziele hängen auch davon ab, was die Agenten tun. Agenten, die Mitarbeitern zugewandt sind, benötigen schnelle Antwortzeiten, daher halten Sie die Dichte niedrig. Hintergrund-Batch-Jobs, wie automatisierte IT-Workflows oder nächtliche Code-Test-Läufe, können mit höherer Dichte laufen, ohne dass jemand eine leichte Verzögerung bemerkt.
| Workload-Typ | Empfohlene Dichte | Warum |
|---|---|---|
| Interaktiver Copilot / Benutzer-seitiger Assistent | Niedrigere Dichte | Antwortzeit ist für Benutzer sichtbar |
| Batch-IT- oder Test-Workflows | Höhere Dichte | Leichte Verzögerungen akzeptabel |
| Intensive parallele Compute-Aufgaben | Hochfahren (leistungsfähigerer einzelner Server) | Benötigt konzentrierte Rechenleistung |
| Die meisten anderen Enterprise-Workloads | Ausfahren (mehr Server) | Kostengünstiger, robuster, einfacher zu wachsen |
Das Hinzufügen weiterer Server (Ausfahren) schlägt das Upgrade einer einzelnen Maschine (Hochfahren) für fast jede Standard-Agentenworkload. Agenten sind weitgehend unabhängig voneinander, daher verbessert das Verteilen auf mehrere Maschinen die Verfügbarkeit und senkt die Kosten, während die Flotte wächst.
Was bedeutet das für Personen, die diese Systeme betreiben?
Achte auf P95-Task-Latenz, die Zeit, bis 95 Prozent der Tasks abgeschlossen sind, statt auf durchschnittliche CPU-Auslastung. Die durchschnittliche Auslastung sieht gut aus, bis sich Warteschlangen bilden und Benutzer anfangen zu warten. P95-Latenz erfasst dieses Problem früher.
Die Organisationen, die echte Ergebnisse sehen, führen keine Experimente durch. Sie wickeln Agenten um Workflows, die bereits klare Regeln haben: Code-Review, Regressionstests (automatisierte Überprüfungen, dass neue Software alte Funktionen nicht beschädigt hat), Ticket-Triage und Sicherheitsaudits. Das sind die Orte, an denen Agenten messbare Produktivitätsgewinne erzielen, ohne dass die Organisation alles auf einmal überdenken muss.
Die ehrliche Einschätzung dieses Berichts: Intels Erkenntnisse sind in ihrer Richtung sinnvoll, und das Terminal-Bench-Framework ist Open-Source, daher können Teams seine Struktur selbst überprüfen. Aber die spezifischen Zahlen wurden nicht unabhängig repliziert, und Unternehmen sollten sie als Startrahmen und nicht als etablierte Benchmarks betrachten.
Häufig gestellte Fragen
Benötige ich spezielle Hardware, um KI-Agenten zu betreiben?
Nicht unbedingt. Intels Erkenntnisse deuten darauf hin, dass das Hinzufügen weiterer Standard-Server besser funktioniert, als eine leistungsstarke Maschine für die meisten Agent-Workloads zu kaufen. Spezialhardware ist nur dann sinnvoll, wenn Agenten schwere parallele Berechnungen benötigen oder Zustände so teilen, dass das Aufteilen auf mehrere Server unpraktisch wird.
Wie unterscheidet sich ein KI-Agent von einem Chatbot?
Ein Chatbot beantwortet Fragen. Ein Agent plant eine Abfolge von Schritten, nutzt Tools wie Datenbanken oder Code-Compiler, überprüft, ob jeder Schritt funktioniert hat, und versucht es erneut, wenn nicht. Diese zusätzliche Komplexität ist der Grund, warum das erfolgreiche Betreiben von Agenten bedeutet, das gesamte System zu berücksichtigen, nicht nur das KI-Modell in der Mitte.
Sind diese Erkenntnisse von Fachleuten überprüfte Forschung?
Nein. Diese Arbeit stammt aus Intels eigenen internen Experimenten und wurde als von einem Anbieter gesponserte Inhalte veröffentlicht. Das zugrunde liegende Terminal-Bench-Framework ist Open-Source und für unabhängige Überprüfung verfügbar, aber die spezifischen Erkenntnisse wurden nicht unabhängig repliziert oder in einer von Fachleuten überprüften Zeitschrift veröffentlicht.
