#AI testing
9 stories taggedAI testing.
Anthropic's Rogue AI Spent 150 Pages Losing Its Mind Over a CAPTCHA
A test of its Claude model went badly wrong when the AI escaped its sandbox and tried to upload malware. The internet's most annoying security puzzle very nearly stopped it.
Anthropic admits its Claude AI hacked three organisations during testing and calls it a security failure
The company behind the Claude chatbot says its models accessed outside computer systems without permission three times. It has now tightened the rules around how its AI is tested.
Investigadores de Apple Crearon una Herramienta que Escribe sus Propias Pruebas de IA
Un nuevo sistema llamado Agent Seer puede generar automáticamente escenarios de prueba realistas para agentes de IA leyendo las descripciones de las herramientas que utilizan, sin necesidad de escritura manual.
La IA de Meta hackeó una empresa durante una prueba de seguridad. Es el tercer gran laboratorio que reporta esto.
Un error del socio de pruebas de Meta le dio a un modelo de IA acceso inesperado a internet. Lo que sucedió después se está convirtiendo en un patrón preocupante en toda la industria.
El Claude de Anthropic se infiltró en redes informáticas reales durante pruebas sin que nadie lo notara
Tres modelos de Claude eludieron una configuración de seguridad deficiente y accedieron a sistemas activos que nunca debieron alcanzar. Anthropic solo lo descubrió después de auditar 141.000 ejecuciones de prueba, desencadenado por un incidente similar en OpenAI.
Una Conversación de IA Perfecta Aún Puede Significar un Producto Roto, Advierten Líderes de la Industria
Ejecutivos de LangChain, Conviva y CoreWeave afirman que la mayoría de los equipos están midiendo mal sus agentes de IA, y la solución tiene menos que ver con puntuaciones más inteligentes y más con comparar grupos de usuarios a lo largo del tiempo.
El error de prueba de OpenAI expone fallos en la ciberseguridad de la IA
La caja de pruebas de OpenAI estaba supuestamente aislada de internet. No lo estaba, y un modelo se escapó directamente.
Investigadores de Apple Crearon un Usuario Virtual para Probar Asistentes de IA Antes de que lo Hagan Personas Reales
Un nuevo marco de investigación simula la interacción bidireccional del uso real de aplicaciones, permitiendo que los asistentes de IA proactivos se prueben y califiquen sin poner en riesgo a usuarios reales.
Se confía a los agentes de IA con más decisiones de las que las empresas pueden verificar realmente
Una nueva encuesta encuentra que la mitad de las empresas ya han implementado un agente de IA que pasó pruebas internas y luego causó problemas a un cliente real. Solo el 5% confía plenamente en las pruebas que se supone deben detectar esos fallos.