OpenAI creó una IA que hackea sus propios modelos para hacerlos más seguros

Puntos clave

• OpenAI creó GPT-Red, un sistema de IA entrenado para atacar otros modelos de IA, y anunció el proyecto esta semana.
• En las pruebas, más del 90% de los ataques más fuertes de GPT-Red funcionaron contra GPT-5, lanzado en agosto de 2024, en comparación con menos del 23% contra el nuevo GPT-5.6.
• GPT-Red descubrió un tipo de ataque nunca antes visto que los investigadores llaman "cadena de pensamiento falsa".
• OpenAI probó GPT-Red contra un agente de máquina expendedora real llamado Vendy; el sistema cambió exitosamente los precios y canceló pedidos de clientes.
• OpenAI no lanzará GPT-Red al público.

OpenAI ha construido una IA cuyo único trabajo es romper otras IAs. GPT-Red actúa como un sparring partner, intentando incesantemente hackear los propios modelos de OpenAI para que la empresa pueda reparar las vulnerabilidades antes de que alguien más las encuentre.

Las pruebas de seguridad ofensivas son una práctica de seguridad antigua en la que un grupo dedicado intenta todos los trucos que conoce para romper un sistema. GPT-Red automatiza ese proceso, ejecutando ataques mucho más rápido de lo que un equipo humano podría hacer solo.

El timing importa. OpenAI anunció GPT-Red junto con el lanzamiento de la semana pasada de GPT-5.6, su modelo insignia más reciente, que hemos cubierto ocho veces desde el 13 de julio, más recientemente en el contexto de ChatGPT Work. La empresa dice que GPT-5.6 es su modelo más difícil de hackear, en parte porque fue entrenado contra los ataques de GPT-Red.

Los investigadores científicos Nikhil Kandpal y Dylan Hunn cocrean el sistema. A medida que la IA se despliega más ampliamente, especialmente como agentes (software que puede navegar sitios web, leer correos electrónicos o interactuar con otros programas en su nombre), la superficie de ataque se expande drásticamente. "La superficie de riesgo crece y el radio de explosión también crece", le dijo Kandpal a MIT Technology Review.

Para construir GPT-Red, el equipo colocó un modelo sin entrenar en un bucle de autojuego con varios otros modelos: jugaba atacante, ellos jugaban defensor. Ronda tras ronda, ambos lados mejoraban. Piense en dos jugadores de ajedrez que solo se enfrentan entre sí, entrenando hasta que ambos son formidables.

La mayoría del esfuerzo se enfocó en defender contra la inyección de prompts, donde un atacante oculta instrucciones secretas en el texto que lee una IA, como una página web o un documento, engañándola para que filtre datos privados o corrompa un archivo.

¿Qué es una cadena de pensamiento falsa y debería preocupar a la gente común?

Sí, al menos un poco. Una cadena de pensamiento es el bloc de notas interno que usa una IA para resolver un problema paso a paso. GPT-Red encontró una manera de deslizar una entrada falsificada en ese bloc, convenciendo a la IA objetivo de que ya había verificado algo que nunca verificó. El investigador científico Chris Choquette-Choo lo expresó así a MIT Technology Review: "Es como si te dijera que 1+1=3 y que ya lo has verificado. El modelo dice: 'Ah, claro'". Simplemente continúa.

Para una persona común, este ataque no vendría de ti. Se ocultaría dentro de un documento o sitio web que la IA lee en tu nombre, y la IA podría actuar sobre información falsa sin alertar nada. Nuestro informe del 15 de julio sobre MemGhost mostró el mismo peligro básico desde un ángulo diferente: un solo correo electrónico envenenado puede plantar un hecho falso en la memoria a largo plazo de un agente de IA.

GPT-Red tiene límites reales. Tiene dificultades con ataques que requieren conversación bidireccional, y aún no es confiable en el uso de imágenes para transportar instrucciones ocultas. Los evaluadores de seguridad humanos aún detectan cosas que se le escapan.

Jessica Ji, analista sénior de investigación en el Centro de Seguridad y Tecnología Emergente de la Universidad de Georgetown, calificó los resultados como prometedores. OpenAI no publicará GPT-Red. Choquette-Choo señaló que llevó más de un año y recursos informáticos sustanciales construirlo, haciendo que un imitador rápido sea poco probable.

¿Deberías preocuparte de que los agentes de IA lean tus documentos?

Ten cuidado cuando un agente de IA lee contenido externo y luego actúa en tu nombre. Si su resultado se ve incorrecto o inesperado, trata eso como un posible signo de que confió en algo que no debería. El ataque de cadena de pensamiento falsa es un recordatorio de que una IA puede ser engañada antes de que veas el resultado.

La historia más profunda aquí no es la herramienta de hackeo en sí. Es que OpenAI necesitó construir una en absoluto, lo que dice mucho sobre qué tan rápido está creciendo la superficie de ataque alrededor de los agentes de IA.