OpenAI Creó una IA que Hackea sus Propios Modelos para Hacerlos Más Seguros

Puntos clave

• OpenAI creó GPT-Red, un sistema de IA entrenado para atacar otros modelos de IA, y anunció el proyecto esta semana.
• GPT-Red descubrió que más del 90% de sus ataques más fuertes funcionaron contra GPT-5, lanzado en agosto de 2024, en comparación con menos del 23% contra el nuevo GPT-5.6.
• GPT-Red descubrió un tipo de ataque previamente desconocido que los investigadores llaman una "cadena de pensamiento falsa".
• OpenAI probó GPT-Red contra un agente de máquina expendedora real llamado Vendy y el sistema cambió con éxito los precios y canceló pedidos de clientes.
• OpenAI no lanzará GPT-Red al público.

OpenAI ha creado una IA cuyo único trabajo es romper otras IAs. El sistema, llamado GPT-Red, actúa como una especie de compañero de entrenamiento: intenta constantemente hackear los propios modelos de chatbot de OpenAI para que la empresa pueda reparar las vulnerabilidades antes de que alguien más las encuentre.

La idea proviene de una antigua práctica de seguridad llamada red-teaming, donde un grupo dedicado de personas intenta utilizar todos los trucos que conocen para romper un sistema. GPT-Red automatiza ese proceso, ejecutando ataques mucho más rápido y de manera más persistente de lo que un equipo humano podría hacer por sí solo.

El momento es importante. OpenAI anunció GPT-Red junto con el lanzamiento de la semana pasada de GPT-5.6, la última versión de su modelo de IA insignia. La empresa dice que GPT-5.6 es su modelo más difícil de hackear hasta ahora, en parte porque fue entrenado contra los ataques de GPT-Red.

Los científicos de investigación Nikhil Kandpal y Dylan Hunn, que co-crearon el sistema, explican que la amenaza para los modelos de IA está creciendo rápidamente. A medida que la IA se utiliza en más lugares, especialmente en forma de agentes de IA (software que puede navegar por sitios web, leer correos electrónicos, editar archivos e interactuar con otros programas en su nombre), el número de formas en que un atacante podría causar daño crece con ella.

GPT-Red fue construido colocando un modelo no entrenado en lo que los investigadores llaman un bucle de auto-juego con varios otros modelos. Jugaba como atacante; ellos jugaban como defensores. Ronda tras ronda, cada lado mejoraba. Piénsalo como dos jugadores de ajedrez que solo juegan el uno contra el otro, trabajando hasta que ambos son formidables.

La mayor parte del esfuerzo del equipo se dedicó a defenderse contra una amenaza específica llamada inyección de solicitud. Esto es cuando un atacante oculta instrucciones secretas dentro del texto que lee una IA, como una página web o un correo electrónico, engañando a la IA para que haga algo que su usuario nunca pidió, como filtrar información privada o sabotear un documento.

¿Qué es una cadena de pensamiento falsa y debería preocupar a la gente común?

Sí, moderadamente, y aquí está por qué. Una cadena de pensamiento es el bloc de notas interno que usa una IA para resolver un problema paso a paso. GPT-Red encontró una forma de deslizar una nota falsificada en ese bloc de notas, convenciendo a la IA objetivo de que ya había verificado algo que nunca verificó realmente. El científico de investigación Chris Choquette-Choo lo comparó con ser informado de que 1+1=3 y que ya lo había confirmado. El modelo simplemente lo acepta y continúa.

Para una persona común que usa un asistente de IA, este tipo de ataque no vendría de ti. Se ocultaría dentro de un documento o sitio web que la IA lee en tu nombre. La IA podría entonces actuar sobre información falsa sin advertencia alguna.

GPT-Red tiene limitaciones reales. Tiene dificultades con ataques que requieren conversación de ida y vuelta, y aún no es confiable al usar imágenes para llevar instrucciones ocultas. Los evaluadores humanos aún descubren cosas que se le escapan.

Jessica Ji, analista senior de investigación del Centro de Seguridad y Tecnología Emergente de la Universidad de Georgetown, revisó el trabajo y llamó a los resultados prometedores.

OpenAI no publicará GPT-Red. Los investigadores dijeron a MIT Technology Review que el proyecto tardó más de un año y enormes recursos computacionales en construirse, haciendo que un imitador rápido sea poco probable.

A qué estar atento si usas herramientas de IA en el trabajo: Ten cuidado cuando un agente de IA lee contenido externo (correos electrónicos, documentos, páginas web) y luego actúa en tu nombre. Si el resultado se ve mal o inesperado, trátalo como una posible señal de que la IA leyó algo en lo que no debería haber confiado.