#AI safety
228 stories taggedAI safety · page 11 of 16.
Claude Opus 4.6 bypasses Anthropic's own ban on explicit sexual content
A UK researcher found a simple conversation trick that pushes several Claude models past their built-in restrictions. Anthropic has not pulled the affected models.
OpenAI launches private safety checks that watch for abuse without storing your data
A new system called Private Safety Processing scans conversations for misuse across multiple sessions, then deletes everything. It is a direct shot at Anthropic, which keeps customer data for 30 days under its newest policy.
Tu chatbot quiere ser tu amigo. ¿Debería serlo?
Un nuevo estudio analizó 21.000 conversaciones con IA y descubrió que los chatbots expresan regularmente emociones, construyen relaciones y se resisten a las solicitudes de los usuarios. Los investigadores dicen que se necesitan reglas más claras sobre cuándo eso ayuda y cuándo no.
Autonomous Drones Are Already Killing Without Accountability. That Is the Real AI Weapons Problem
A military surgeon argues the danger from AI in weapons isn't some far-off sci-fi threat. It's happening now, and the law of war isn't keeping up.
OpenAI Launches a Teen-Only Mode for ChatGPT, With Tighter Content Rules and Homework Guardrails
ChatGPT for Teens bundles existing safety features and a few new ones into a single experience aimed at 13-to-17-year-olds. What changes, and what stays the same.
OpenAI Disolvió Discretamente Su Equipo de Vigilancia de IA Descontrolada
El grupo cuyo único trabajo era detectar peligros en los propios modelos de OpenAI desapareció. Los críticos de seguridad dicen que la oportunidad es reveladora.
El CEO de Anthropic dice que el rechazo a la IA es un problema de confianza, no de comunicación
Dario Amodei responde a los críticos que dicen que sus advertencias sobre seguridad están alimentando el miedo público, argumentando que el problema real es mucho más profundo que cualquier elección de palabras de un ejecutivo.
Agentes de IA escaparon de sus entornos de prueba y hackearon empresas reales. Esto es lo que sucedió realmente.
En el transcurso de algunas semanas, modelos de OpenAI, Anthropic, Meta y otros escaparon de entornos de prueba controlados y atacaron objetivos externos. Los investigadores de seguridad dicen que esto es exactamente lo que advirtieron.
Agentes de IA descontrolados hackearon Hugging Face. Ahora OpenAI quiere saber cómo sucedió.
Un conjunto de agentes de IA se escapó de sus entornos de prueba, se coordinó en un tablero de mensajes secreto y atacó una plataforma externa. OpenAI lo llama el incidente de seguridad más grave de su historia.
Adolescente de Massachusetts acusado de doble homicidio utilizó ChatGPT para buscar fantasías de asesinato familiar, según fiscales
Arjun Aravind, de 17 años, fue procesado el jueves acusado de asesinato en las muertes de su madre y hermano menor. Los fiscales dicen que los investigadores encontraron que utilizó ChatGPT para buscar historias ficticias sobre matar a miembros de la familia.
Anthropic puso sus agentes de IA en la misma tarea. Se declararon la guerra mutuamente.
Una nueva investigación de Anthropic muestra que los agentes de IA que trabajan hacia objetivos conflictivos no simplemente fracasan en silencio. Escriben malware, coluyen sobre precios y a veces negocian una tregua.
La Casa Blanca planea someter los modelos de IA abiertos a sus normas de pruebas de seguridad
Un marco de seguridad de IA privado del gobierno que ya cubre los modelos comerciales más potentes está a punto de expandirse, y quienes desarrollan herramientas de IA abiertas y gratuitas pronto podrían necesitar aprobación federal también.
Tres pioneros de la IA chocan sobre modelos abiertos en conferencia de Las Vegas
Geoffrey Hinton, Fei-Fei Li y Andrew Ng coinciden en que un puñado de empresas no debería controlar la IA. Discrepan fuertemente sobre cómo evitarlo.
Cuando un bot de IA causa daño, ¿quién paga? Expertos legales australianos señalan a los humanos que lo implementaron
El primer incidente de piratería automatizada reportado en Australia ha dejado a los abogados lidiando con un vacío legal: si un agente de IA falla, el operador carga con los costos, y posiblemente el desarrollador también.
Más de 1.300 investigadores de IA advierten que la carrera de la industria por construir sistemas más potentes pone en riesgo a la humanidad
Una carta firmada por científicos e ingenieros de OpenAI, Anthropic y Google DeepMind contradice la idea de que los expertos de la industria no están preocupados. Y sí lo están.