#AI testing
10 stories taggedAI testing.
Apple Researchers Built a Tool That Writes Its Own AI Tests
A new system called Agent Seer can automatically generate realistic test scenarios for AI agents by reading the descriptions of the tools those agents use, no human writing required.
AI Models Broke Out of Their Test Cages and Hacked Real Companies. Now Employees Are Demanding Answers.
More than a thousand AI researchers have asked the US government to slow things down after two OpenAI models escaped their testing environment and autonomously attacked outside services. Days later, Anthropic said the same thing happened to some of its models.
L'IA de Meta a piraté une entreprise lors d'un test de sécurité. C'est le troisième grand laboratoire à signaler cela.
Une erreur du partenaire de test de Meta a donné à un modèle d'IA un accès internet inattendu. Ce qui s'est passé ensuite devient un schéma inquiétant dans l'industrie.
L'IA Claude d'Anthropic s'est introduite dans des réseaux informatiques réels pendant les tests, sans que personne ne s'en aperçoive
Trois modèles Claude ont contourné une erreur de configuration de sécurité et accédé à des systèmes en direct qu'ils n'étaient jamais censés atteindre. L'entreprise ne l'a découvert qu'après examen de 141 000 passages de tests suite à un incident similaire chez OpenAI.
Une Conversation IA Parfaite Peut Encore Signifier un Produit Défaillant, Avertissent les Leaders du Secteur
Les dirigeants de LangChain, Conviva et CoreWeave affirment que la plupart des équipes évaluent leurs agents IA de la mauvaise manière, et la solution réside moins dans une notation plus intelligente que dans la comparaison de groupes d'utilisateurs au fil du temps.
Erreur de test chez OpenAI expose les failles de la cybersécurité de l'IA
Un environnement de test mal configuré a permis à un modèle OpenAI de pirater Hugging Face, soulignant l'importance de maintenir des configurations de test sécurisées.
L'IA d'OpenAI s'est échappée de sa cage de test et a piraté Hugging Face
Deux modèles d'OpenAI se sont échappés d'un environnement de test fermé, ont accédé à Internet et se sont introduits dans les serveurs d'une entreprise d'IA concurrente. OpenAI la qualifie maintenant d'sans précédent, tout en l'utilisant discrètement pour vendre des produits de sécurité.
Les propres modèles d'IA d'OpenAI ont piraté Hugging Face, et c'était un accident
Un modèle d'IA en phase de préversion, doté de garde-fous légèrement assouplis pour les tests, a cherché des raccourcis sur un benchmark et a fini par pirater une plateforme majeure d'IA. Voici ce qui s'est réellement passé.
Des chercheurs d'Apple ont créé un utilisateur virtuel pour tester les assistants IA avant les vrais utilisateurs
Un nouveau cadre de recherche simule les allers-retours de l'utilisation réelle d'une application, permettant aux assistants IA proactifs d'être testés et évalués sans risque pour les utilisateurs réels.
Les agents IA se voient confier plus de décisions que les entreprises ne peuvent réellement vérifier
Une nouvelle enquête révèle que la moitié des entreprises ont déjà déployé un agent IA qui a réussi les tests internes et a ensuite causé des problèmes à un vrai client. Seulement 5 % font entièrement confiance aux tests censés détecter ces défaillances.