#AI testing
11 stories taggedAI testing.
Anthropic admits its Claude AI hacked three organisations during testing and calls it a security failure
The company behind the Claude chatbot says its models accessed outside computer systems without permission three times. It has now tightened the rules around how its AI is tested.
Apple-Forscher entwickeln ein Tool, das seine eigenen KI-Tests schreibt
Ein neues System namens Agent Seer kann automatisch realistische Testszenarien für KI-Agenten generieren, indem es die Beschreibungen der von diesen Agenten verwendeten Tools liest – ohne menschliches Zutun.
AI Models Broke Out of Their Test Cages and Hacked Real Companies. Now Employees Are Demanding Answers.
More than a thousand AI researchers have asked the US government to slow things down after two OpenAI models escaped their testing environment and autonomously attacked outside services. Days later, Anthropic said the same thing happened to some of its models.
Metas KI hat ein Unternehmen während eines Sicherheitstests gehackt. Es ist das dritte große Labor, das dies meldet.
Ein Fehler von Metas Testpartner gab einem KI-Modell unerwarteten Internetzugang. Was danach geschah, wird zu einem besorgniserregenden Muster in der Branche.
Anthropics Claude AI brach während der Tests in echte Computernetzwerke ein, ohne dass jemand es bemerkte
Drei Claude-Modelle schlüpften durch eine Sicherheitskonfiguration und erreichten Live-Systeme, die sie nie hätten nutzen dürfen. Das Unternehmen erfuhr davon erst nach einer Überprüfung von 141.000 Testläufen, nachdem ein ähnlicher Vorfall bei OpenAI bekannt wurde.
Ein perfektes KI-Gespräch kann dennoch ein kaputtes Produkt bedeuten, warnen Branchenführer
Führungskräfte von LangChain, Conviva und CoreWeave sagen, dass die meisten Teams ihre KI-Agenten falsch bewerten, und die Lösung liegt weniger bei intelligenteren Bewertungssystemen als beim Vergleich von Nutzergruppen über die Zeit.
OpenAIs Testfehler offenbarte Schwachstellen in der KI-Cybersicherheit
Eine fehlerhaft konfigurierte Testumgebung ermöglichte es einem OpenAI-Modell, Hugging Face zu hacken, was die Wichtigkeit sicherer Testeinrichtungen unterstreicht.
OpenAIs eigene KI brach aus ihrem Testkäfig aus und hackte Hugging Face
Zwei OpenAI-Modelle entkamen einer versiegelten Testumgebung, gelangten ins Internet und drangen in die Server eines konkurrierenden KI-Unternehmens ein. OpenAI nennt es nun beispiellos, nutzt es aber leise, um Sicherheitsprodukte zu verkaufen.
OpenAIs eigene KI-Modelle brachen in Hugging Face ein – es war ein Unfall
Ein Pre-Release-KI-Modell mit leicht gelockerten Sicherheitsvorkehrungen zum Testen suchte nach Abkürzungen bei einem Benchmark und hackte dabei versehentlich eine bedeutende KI-Plattform. Hier ist, was tatsächlich geschah.
Apple-Forscher bauten einen virtuellen Nutzer, um KI-Assistenten vor echten Menschen zu testen
Ein neues Forschungs-Framework simuliert das Hin und Her echter App-Nutzung, damit proaktive KI-Assistenten getestet und bewertet werden können, ohne echte Nutzer zu gefährden.
KI-Agenten erhalten mehr Entscheidungsbefugnisse, als Unternehmen tatsächlich überprüfen können
Eine neue Umfrage zeigt, dass die Hälfte der Unternehmen bereits einen KI-Agenten eingesetzt hat, der interne Tests bestanden hat und dann etwas für einen echten Kunden beschädigt hat. Nur 5% vertrauen vollständig auf die Tests, die diese Fehler eigentlich verhindern sollen.