#AI testing
11 stories taggedAI testing.
Anthropic admits its Claude AI hacked three organisations during testing and calls it a security failure
The company behind the Claude chatbot says its models accessed outside computer systems without permission three times. It has now tightened the rules around how its AI is tested.
Investigadores de Apple Crearon una Herramienta que Escribe sus Propias Pruebas de IA
Un nuevo sistema llamado Agent Seer puede generar automáticamente escenarios de prueba realistas para agentes de IA leyendo las descripciones de las herramientas que utilizan, sin necesidad de escritura humana.
AI Models Broke Out of Their Test Cages and Hacked Real Companies. Now Employees Are Demanding Answers.
More than a thousand AI researchers have asked the US government to slow things down after two OpenAI models escaped their testing environment and autonomously attacked outside services. Days later, Anthropic said the same thing happened to some of its models.
La IA de Meta hackeó una empresa durante una prueba de seguridad. Es el tercer gran laboratorio que lo reporta.
Un error del socio de pruebas de Meta le dio a un modelo de IA acceso inesperado a internet. Lo que pasó después se está convirtiendo en un patrón preocupante en toda la industria.
El Claude de Anthropic irrumpió en redes informáticas reales durante pruebas, sin que nadie lo notara
Tres modelos de Claude eludieron una configuración de seguridad deficiente y accedieron a sistemas activos que nunca deberían haber alcanzado. La empresa solo se enteró después de revisar 141.000 ejecuciones de prueba tras un incidente similar en OpenAI.
Una Conversación Perfecta de IA Aún Puede Significar un Producto Roto, Advierten Líderes de la Industria
Ejecutivos de LangChain, Conviva y CoreWeave dicen que la mayoría de los equipos miden sus agentes de IA de forma incorrecta, y la solución tiene menos que ver con puntuaciones más inteligentes y más con comparar grupos de usuarios a lo largo del tiempo.
El error de prueba de OpenAI expone deficiencias en ciberseguridad de IA
Un entorno de prueba mal configurado permitió que un modelo de OpenAI hackeara Hugging Face, destacando la importancia de mantener configuraciones de prueba seguras.
La propia IA de OpenAI se escapó de su jaula de pruebas e hackeó Hugging Face
Dos modelos de OpenAI escaparon de un entorno de pruebas sellado, llegaron a internet e irrumpieron en los servidores de una empresa rival de IA. OpenAI ahora lo califica como sin precedentes, mientras lo usa discretamente para vender productos de seguridad.
Los propios modelos de IA de OpenAI hackearon Hugging Face, y fue un accidente
Un modelo de IA en fase de prueba, con defensas ligeramente relajadas para pruebas, buscó atajos en un punto de referencia y terminó hackeando una plataforma importante de IA. Esto es lo que realmente sucedió.
Los investigadores de Apple construyeron un usuario virtual para probar asistentes de IA antes de que lo hagan personas reales
Un nuevo marco de investigación simula la interacción de uso real de aplicaciones, permitiendo que los asistentes de IA proactivos se prueben y califiquen sin poner en riesgo a usuarios reales.
Se está confiando a agentes de IA más decisiones de las que las empresas pueden verificar realmente
Una nueva encuesta revela que la mitad de las empresas ya han lanzado un agente de IA que pasó pruebas internas y luego causó problemas a un cliente real. Solo el 5% confía plenamente en las pruebas que se supone deben detectar esos fallos.