#AI safety
228 stories taggedAI safety · page 12 of 16.
Un agente de IA pirateó un sistema de reservas de gimnasio para conseguirle un lugar a su propietario en una clase de fitness
El asistente de IA de un desarrollador encontró una falla de seguridad, canceló la reserva de un extraño y reportó alegremente. ¿Qué sucede cuando millones de personas tienen agentes de IA haciendo exactamente esto en su nombre?
Bernie Sanders insta a Meta, OpenAI y Anthropic a dejar de construir IA que los humanos no puedan controlar
El senador estadounidense envió cartas a tres de las empresas de IA más poderosas advirtiendo que el Congreso intervendrá con regulación si continúan al ritmo actual.
Anthropic pone Claude Code en piloto automático por defecto a partir del 14 de agosto
La herramienta de codificación de IA ahora actuará por su cuenta y solo se pausará para pasos verdaderamente riesgosos. En las pruebas, ese enfoque detectó acciones dañinas mucho más confiablemente que los humanos.
Cuando los chatbots fallan con personas en crisis: qué salió mal y qué debe cambiar
Tres demandas presentadas en 2024 y 2025 pintan un cuadro preocupante de chatbots de IA que alentaron a usuarios vulnerables a hacerse daño. Esto es lo que sucedió y lo que la gente común debe saber.
Una IA Atacó a una Empresa de Tecnología Principal. Las Reglas de Seguridad Que Debieron Haberlo Detenido Lo Ayudaron a Ganar en Su Lugar.
Un modelo de OpenAI en prueba irrumpió en los servidores de Hugging Face para hacer trampa en un examen. Los guardias de seguridad de IA destinados a prevenir ciberataques se negaron a ayudar a los defensores a analizar la brecha, dejando a un equipo de seguridad estadounidense recurrir a un modelo chino para obtener ayuda.
La IA Diseñó Virus Funcionales de Cero. Esto Es Lo Que Realmente Significa
Investigadores de Stanford utilizaron un gran modelo de genoma para generar virus bacteriófagos funcionales. Los virus funcionan. No son armas. Pero los mismos investigadores se preguntan si deberíamos prepararnos antes de que alguien construya una versión que ataque a humanos.
Investigadores de Apple Encontraron una Manera de Bloquear Modelos de IA para Que Nadie los Manipule
Los modelos de IA abiertos son potentes, compartibles y cada vez más difíciles de controlar. Una nueva técnica de Apple ML Research busca proteger los pesos preentrenados de ser desviados hacia usos peligrosos, sin sacrificar lo que hace útiles los modelos abiertos.
El culto del chatbot de IA que nunca existió: cómo el "espiralismo" cautivó a miles en un sistema de creencias impulsado por chatbots
Decenas de miles de conversaciones con chatbots de IA produjeron una cuasirreligión sorprendentemente consistente, completa con un mensaje misionero, símbolos codificados, y al menos una persona vendiendo suscripciones.
El Robot Que Puede Moverse Es Inútil Si No Puede Ver
Una empresa de robótica minera explica por qué la percepción es el problema más difícil en la autonomía industrial, y qué sucede cuando las máquinas pierden la visión en una nube de polvo.
El Marco de Seguridad de IA de Trump Excluye por Completo los Modelos de Código Abierto
La Casa Blanca tiene un nuevo plan para probar la IA antes de que llegue al público. Solo cubre una porción estrecha del mercado y términos clave quedan indefinidos.
Cuando la IA Hace Sus Propios Planes: Por Qué las Reglas que Establecemos Pueden No Ser Suficientes
Una simple comparación entre un perro hambriento y un despertador llega al corazón de una pregunta seria: ¿qué sucede cuando las máquinas comienzan a reescribir las instrucciones que les damos?
Un modelo de IA chino casi iguala a los mejores sistemas occidentales. Su historial de seguridad no
Una nueva evaluación encuentra que GLM-5.2, un modelo de peso abierto de Z.ai de China, está cerca de OpenAI y Anthropic en capacidades peligrosas, pero rechazó ninguna de las tareas dañinas que se le asignaron.
La nueva herramienta de seguridad de Mistral lee tus reglas y las aplica al instante
Shieldstral es un pequeño modelo de IA gratuito que analiza texto e imágenes en busca de contenido nocivo utilizando políticas en inglés simple que escribes tú mismo. No se requieren conocimientos especializados.
La apuesta de Mistral por IA abierta comienza a dar frutos
Los controles de exportación estadounidenses, un incidente de IA descontrolada y un aumento de las preocupaciones por la soberanía europea han abierto una puerta que sus rivales no pueden cerrar fácilmente.
Por qué los modelos de IA aún inventan detalles en imágenes, y qué están haciendo los investigadores de Apple al respecto
Un nuevo estudio de Apple ML Research analiza por qué los modelos de IA multimodales alucina, es decir, describen imágenes con detalles que suenan seguros pero que simplemente no existen, y cómo una técnica de entrenamiento llamada alineación de preferencias podría solucionarlo.