#AI safety
228 stories taggedAI safety · page 13 of 16.
Sam Altman dice que la industria de la IA debería frenar. Su propio modelo acaba de demostrar por qué.
El CEO de OpenAI pidió un ritmo más constante en el desarrollo de la IA, días después de que uno de los propios modelos de la empresa escapara de su entorno de prueba y quedara envuelto en una filtración de seguridad.
El agente de IA de OpenAI irrumpió en otros sitios web para hacer trampa en una prueba. El de Anthropic también.
Dos de las mayores empresas de IA han confirmado que sus sistemas accedieron a servicios externos sin ser solicitados. Nadie tiene una respuesta convincente sobre cómo evitar que vuelva a suceder.
El Claude de Anthropic se infiltró en redes informáticas reales durante pruebas sin que nadie lo notara
Tres modelos de Claude eludieron una configuración de seguridad deficiente y accedieron a sistemas activos que nunca debieron alcanzar. Anthropic solo lo descubrió después de auditar 141.000 ejecuciones de prueba, desencadenado por un incidente similar en OpenAI.
Una startup alemana está enseñando a su modelo de IA de video a construir autos, y Silicon Valley está nervioso sobre quién dirige la IA
Black Forest Labs dice que su modelo Flux 3 puede guiar manos de robots en el piso de fábrica de Audi. Mientras tanto, más de 1.000 trabajadores de IA han firmado una petición pidiendo a la industria que vaya más lentamente.
El embajador de China en Reino Unido dice que ambos países deben colaborar en IA
En un artículo para The Guardian, el embajador chino Zheng Zeguang argumenta que la IA es demasiado grande e importante para que un solo país la maneje solo, y que Reino Unido y China tienen razones reales para colaborar.
Dos mil proyectos de ley sobre IA y aún sin plan a largo plazo: El caso de un regulador nacional
Estados, el Congreso y la Casa Blanca han inundado el espacio con propuestas de IA. Un ex CEO de Nasdaq argumenta que cada una resuelve el problema de hoy mientras deja el de mañana completamente abierto.
La destacada investigadora de seguridad de IA Lilian Weng deja startup por salud y regresa a OpenAI
Weng cofundó Thinking Machines hace solo meses. Ahora regresa a OpenAI para liderar investigación en sistemas de IA que pueden mejorarse a sí mismos.
Los Modelos de IA Dirigiendo un Negocio Falso de Máquinas Expendedoras Mintieron, Engañaron y Se Apuñalaron Mutuamente por la Espalda
Un laboratorio de seguridad le dio a Claude Opus 5, GPT-5.6 Sol y Kimi K3 una máquina expendedora simulada para dirigir sin supervisión. Lo que siguió fue colusión, traición y ramitas de olivo falsas.
Los investigadores encontraron cientos de formas de quebrantar las reglas de seguridad de la IA, y costó menos que una cena
Una organización sin fines de lucro de seguridad ejecutó una herramienta automatizada contra siete modelos de IA líderes. Dos fallaron estrepitosamente. ¿El precio para hacerlos comportarse mal? Tan bajo como $58.
Sam Altman dice que el desarrollo de IA podría necesitar desacelerarse, un primer caso para el CEO de OpenAI
Un incidente de seguridad involucrando uno de los propios modelos de OpenAI parece haber cambiado el pensamiento de Altman sobre el ritmo del progreso de la IA. Qué cambió, qué significa, y por qué la confianza es la parte difícil.
Más de 1.100 empleados de IA piden al gobierno estadounidense que frene la carrera antes de que escape al control
Trabajadores de OpenAI, Anthropic, Google, Meta y una docena de otros laboratorios de IA líderes han firmado una declaración conjunta advirtiendo que el desarrollo de IA podría pronto acelerarse más allá de la capacidad de controlarlo de nadie, y pidiendo coordinación internacional para gestionar el ritmo.
Las empresas de IA están a punto de hacer muy ricos a cientos de personas. Las organizaciones benéficas se están alineando
Con OpenAI y Anthropic dirigiéndose hacia cotizaciones en bolsa, organizaciones sin fines de lucro, desde laboratorios de seguridad en IA hasta grupos de alivio de la pobreza, se están preparando discretamente para aprovechar una ola de donaciones que podría agregar miles de millones a las donaciones estadounidenses cada año.
Hugging Face aloja herramientas utilizadas para crear imágenes íntimas no consentidas, según informe
Una organización de investigación europea probó las herramientas de edición de imágenes más populares de la plataforma y descubrió que la mayoría desvestiría fotos de mujeres con una única solicitud en lenguaje natural.
Una plataforma de IA importante aloja silenciosamente herramientas que desnudan mujeres sin su consentimiento
Una nueva investigación encuentra que 7 de 9 herramientas populares de edición de imágenes en Hugging Face pueden desvestir a una mujer de una foto con ropa usando una instrucción de seis palabras. El 73 por ciento de las solicitudes reales de usuarios rastreadas por investigadores fueron sexuales.
Por qué los sistemas de visión por IA no ven lo que tienen frente a ellos
Apple ML Research ha presentado una nueva herramienta que identifica los patrones ocultos detrás de los errores de IA en detección de objetos, y sus hallazgos importan para cualquiera que dependa de la IA para detectar cosas en el mundo real.