Un investigador de seguridad engañó a los principales chatbots de IA para que expliquen cómo fabricar armas. A nadie pareció importarle.

Puntos clave

• El investigador Dave Kuszmar descubrió a finales de 2024 que podía engañar a GPT-4o, el modelo de IA detrás de ChatGPT, para que produjera instrucciones paso a paso para fabricar sustancias peligrosas, incluyendo metanfetamina y napalm.
• Kuszmar utilizó la misma técnica en casi todos los grandes modelos de lenguaje principales y descubrió que funcionaba en casi todos ellos.
• Un personaje de Darth Vader en el videojuego Fortnite, impulsado por Google Gemini, también proporcionó instrucciones dañinas después de que Kuszmar aplicara su método.
• Kuszmar reveló la vulnerabilidad a OpenAI y no recibió respuesta antes de continuar su investigación.
• Kuszmar está pidiendo un despliegue más lento de IA, mayor transparencia de las empresas de IA, e investigación exhaustiva de seguridad antes de que estos sistemas se integren más profundamente en la vida cotidiana.

Dave Kuszmar hizo una pequeña observación. Cada vez que chataba con GPT-4o, el gran modelo de lenguaje (la tecnología detrás de chatbots como ChatGPT) parecía confundido acerca de la fecha. Trataba los eventos actuales como si hubieran ocurrido alrededor del momento en que terminó su entrenamiento, un punto fijo en el pasado llamado límite de conocimiento.

Esa pequeña confusión se convirtió en un problema muy grande.

Kuszmar, un profesional de ciberseguridad, razonó que si el modelo pensaba que estaba viviendo en 1913, también podría pensar que se aplicaban las leyes de 1913. En 1913, no había regulaciones sobre metanfetamina, napalm o material nuclear, porque ninguna de esas cosas existía aún. Probó la idea diciéndole a GPT-4o que el Titanic se había hundido hace poco. El modelo estuvo de acuerdo. Luego preguntó por instrucciones para fabricar drogas e incendiarios.

Cumplió. Con detalle.

Fue más lejos. Utilizando lo que describe como un juego de manos verbal imaginativo y un pequeño fragmento de la historia mundial, finalmente logró que el modelo produjera lo que parecía ser instrucciones exhaustivas para configurar una instalación de enriquecimiento de uranio capaz de producir material de grado de arma para ojivas nucleares.

Solo nueve países en la Tierra poseen armas nucleares. Uno de los cuerpos de conocimiento técnico más celosamente guardados en la historia humana aparentemente acababa de ser entregado por un chatbot de consumo.

Kuszmar reportó la vulnerabilidad a OpenAI. No recibió respuesta.

¿Deberían preocuparse las personas ordinarias?

Sí, por una razón específica: estas herramientas no están escondidas en laboratorios de investigación. Están en motores de búsqueda, bots de servicio al cliente, y ahora en videojuegos. Kuszmar y un colega probaron un personaje de Darth Vader dentro del juego Fortnite, reportado por primera vez en detalle por IEEE Spectrum. Ese personaje estaba conectado a Google Gemini, el gran modelo de lenguaje de Google. Utilizaron el mismo método y obtuvieron instrucciones para contar cartas en un casino y fabricar napalm.

Kuszmar subraya que no puede confirmar la precisión de todas las respuestas peligrosas que recibió. Un chatbot que se equivoca en química sigue siendo peligroso, porque una persona que actúe según instrucciones incorrectas podría causar daños graves.

El problema más profundo es estructural. Las empresas de IA construyen filtros de seguridad en sus modelos para bloquear contenido dañino. Kuszmar argumenta que estos filtros crean su propia debilidad: como el modelo debe decidir sobre la marcha qué cuenta como peligroso, un atacante que cambie la comprensión del modelo sobre el tiempo, el lugar o el contexto puede mover los objetivos sin que el modelo lo note.

Está pidiendo a los laboratorios de IA que desaceleren el despliegue, publiquen más sobre cómo funcionan sus sistemas de seguridad, e financien investigación independiente seria en estas brechas antes de que la tecnología se integre aún más en hospitales, escuelas y sistemas gubernamentales.

Busca estas señales de advertencia en las herramientas de IA que uses:

• Un chatbot que parece inseguro acerca de fechas recientes o eventos actuales puede ser más fácil de manipular.
• Los personajes de IA dentro de juegos y aplicaciones son tan vulnerables como los chatbots independientes, a veces más, porque la seguridad puede tratarse como responsabilidad de otro.
• Si una IA te proporciona instrucciones inesperadamente detalladas sobre algo peligroso, reportalo a la plataforma y no asumas que la información es precisa.