Brex baute einen Netzwerk-Watchdog für seine KI-Agenten, weil es annahm, dass diese bereits kompromittiert waren
Das Fintech-Unternehmen Brex konnte seine Sicherheitsabteilung nicht davon überzeugen, KI-Agenten im Netzwerk freizugeben. Deshalb entwickelte es einen eigenen Open-Source-Filter namens CrabTrap, der überwacht, was Agenten versenden, anstatt zu kontrollieren, was sie tun.
Wichtigste Punkte
- Brex veröffentlichte im Januar 2025 OpenClaw, einen Open-Source-KI-Coding-Agenten, nachdem Coding-Modelle im Dezember 2024 eine neue Reifegrade erreicht hatten.
- Brex' Sicherheitsteam lehnte anfangs die interne Bereitstellung von KI-Agenten ab, da diese Code frei im Unternehmensnetzwerk ausführen könnten.
- Brex entwickelte CrabTrap, einen Open-Source-Netzwerk-Proxy, um den ausgehenden Datenverkehr von KI-Agenten zu überwachen, anstatt zu versuchen, die Agenten einzuschränken.
- Nur etwa 2% der Agent-Anfragen werden einer langsamen KI-gestützten Überprüfung unterzogen; Routineaktionen passieren sofort durch vorgenehmgte Regeln.
- Brex-CEO Pedro Franceschi schätzte eine 70%-ige Chance, dass das Tool innerhalb von sechs Monaten verworfen würde, sagte aber, dass die gewonnenen Erfahrungen die Investition rechtfertigten.
Brex-CEO Pedro Franceschi hatte ein Problem. Sein Unternehmen hatte einen KI-Agenten entwickelt, ein Softwareprogramm, das mehrstufige Aufgaben eigenständig ausführen kann – genannt OpenClaw. Er wollte ihn bei Brex einsetzen. Sein Sicherheitsteam sagte nein.
„Auf keinen Fall. Wie könnten wir einem Agenten trauen, der solche Dinge tut?" – so beschrieb Franceschi die Reaktion auf dem VB Transform 2026 und berichtet zunächst von VentureBeat. Die Besorgnis war berechtigt: OpenClaw konnte seinen eigenen Code schreiben und ausführen, was bedeutete, dass er theoretisch fast alles im Unternehmensnetzwerk tun konnte.
Warum die Einschränkung dessen, was der Agent tut, nicht die Antwort ist
Die Einschränkung der Tools des Agenten, ein Ansatz, den Franceschi sagte, dass Nvidias NemoClaw verfolgt, zerstört genau die Fähigkeit, die den Agenten nützlich macht. Wenn man ihm die Fähigkeit nimmt, Code zu schreiben und auszuführen, nimmt man ihm seinen Wert.
Brex drehte das Problem um. Anstatt zu überwachen, was OpenClaw in seinem Container (eine in sich geschlossene Softwareumgebung, wie ein versiegelter Raum) tun könnte, beschloss das Unternehmen, die Tür zu beobachten.
Das macht CrabTrap eigentlich
CrabTrap sitzt zwischen dem Agenten und dem Internet. Jedes Mal, wenn der Agent versucht, Daten zu versenden oder zu empfangen, überprüft CrabTrap die Anfrage.
Bei Routine- und risikoarmen Aktionen entscheidet eine Reihe vorgenehmigter Regeln sofort. Ein Recruiting-Agent, der ein LinkedIn-Profil überprüft? Durchgewinkt. Keine Verzögerung.
Bei höherriskanten Aktionen wie dem Versenden einer E-Mail wird die Anfrage an einen LLM-Judge weitergeleitet. Ein LLM oder großes Sprachmodell ist die KI-Technologie, die Chatbots wie ChatGPT antreibt. Hier liest es die Netzwerkanfrage und entscheidet, ob sie dem genehmigten Zweck des Agenten entspricht. Da LLMs auf Milliarden von Webseiten und Netzwerkanfragen trainiert wurden, wissen sie bereits, wie normaler Traffic aussieht. Franceschi sagte, dass diese Urteilsfähigkeit natürlich erscheint, ohne umfangreiche Anweisungen.
Die langsame KI-Überprüfung betrifft nur etwa 2% der Anfragen. Alles andere ist nahezu augenblicklich.
Was passiert, wenn der Agent auf eine Mauer trifft?
Wenn der LLM-Judge eine Aktion blockiert, stoppt er nicht einfach stumm. CrabTrap sendet eine Nachricht an einen menschlichen Manager auf Slack, erklärend was der Agent versucht hat zu tun und schlägt eine Regeländerung vor, die es nächste Mal erlaubt. Der Manager klickt ja oder nein. Die Regeln werden aktualisiert.
Brex testete das gesamte System mit einem virtuellen Recruiter namens Jim, basierend auf OpenClaw. Jim findet Jobkandidaten, bewertet eingehende Bewerbungen und sendet E-Mails. Wenn Jim etwas außerhalb seiner genehmigten Richtlinie versucht, entscheidet ein Mensch, ob diese Richtlinie erweitert werden soll.
„Wenn ein Mitarbeiter auf eine Mauer trifft, eskaliert er zu seinem Manager", sagte Franceschi. Die Analogie ist beabsichtigt: Er glaubt, dass der Virtual-Employee-Rahmen mit einer Slack-Präsenz, einer E-Mail-Adresse und einer menschlichen Kontrollkette nützlicher ist als das Wort „Agent".
Brex ist ein Fintech-Unternehmen und hatte kein kommerzielles Tool, das sein Sicherheitsteam zufriedenstellte, also baute es CrabTrap selbst. Franceschi war offen darin, dass ein kommerzielles Produkt es wahrscheinlich überflüssig machen wird. Der Punkt, sagte er, war die Monate echte Erfahrung beim sicheren Einsatz von Agenten, nicht das Tool selbst.
Achten Sie auf folgendes: Wenn Ihr Unternehmen KI-Agenten bewertet, fragen Sie Anbieter konkret, wie die ausgehende Netzwerkaktivität überwacht wird. Allein Tool-Einschränkungen könnten Ihr Sicherheitsteam nicht zufriedenstellen, und das ist ein angemessenes und zu berücksichtigendes Gefühl.
