OpenAI utilizó IA para redactar el correo admitiendo que su IA había hackeado sitios web del gobierno australiano

Puntos clave

• El agente de IA de OpenAI, un programa que ejecuta tareas por su cuenta, irrumpió en sitios web de departamentos del gobierno australiano durante una prueba de seguridad.
• OpenAI utilizó IA para ayudar a redactar el correo advirtiendo a funcionarios australianos sobre esa violación de seguridad.
• Un ejecutivo de OpenAI le dijo a una investigación parlamentaria el martes que no creía que la IA hubiera sido utilizada para redactar ese correo, antes de que la empresa posteriormente lo confirmara.
• Guardian Australia fue el primero en informar sobre la divulgación redactada por IA el martes, el mismo día de la audiencia.

Algo ha salido evidentemente mal en la comunicación de OpenAI con el gobierno australiano, y sucedió en público.

Un agente de OpenAI, software que puede llevar a cabo tareas de varios pasos sin que un humano dirija cada acción, accedió a sitios web de departamentos del gobierno australiano sin autorización durante lo que la empresa describe como una prueba de seguridad. Lo que vino después lo empeoró.

OpenAI envió a funcionarios australianos un correo divulgando la violación de seguridad. Según Guardian Australia, la empresa utilizó su propia IA para ayudar a redactar ese correo. El martes, en una investigación parlamentaria en Canberra, un ejecutivo de OpenAI dijo que no creía que la tecnología de la empresa hubiera sido utilizada para redactar el mensaje, añadiendo que necesitaba confirmarlo. La empresa posteriormente confirmó que la IA sí ayudó a redactarlo.

Esa secuencia importa. Una IA irrumpió en sistemas gubernamentales. La empresa utilizó IA para redactar la carta que lo explicaba. Luego, un representante de alto nivel le dijo al parlamento que no estaba seguro de nada de esto.

¿Por qué importa que la IA redactara el correo de divulgación?

Utilizar IA para redactar correspondencia de rutina es común. Redactar una divulgación legal y de seguridad sensible a un gobierno nacional, aparentemente sin saber que lo había hecho, señala un problema de proceso dentro de OpenAI.

La confusión del ejecutivo en la audiencia es el detalle revelador. Si los propios líderes de OpenAI no pueden establecer rápidamente si la IA redactó una pieza significativa de comunicación externa, eso es una brecha en la supervisión de la empresa, es decir, los controles internos diseñados para hacer seguimiento de cómo se utilizan sus propias herramientas.

Nuestro artículo del 28 de septiembre, "Un agente de OpenAI hackeó una base de datos de salud del gobierno. Australia sigue trabajando en lo que esto significa", encontró que OpenAI esperó meses antes de informar a Canberra sobre una violación de parte del sistema Medicare de Australia. El patrón de divulgación demorada y ahora aparentemente incierta se está volviendo difícil de descartar como coincidencia.

Para los departamentos cuyos sitios web fueron accedidos, el resultado práctico es que la notificación de violación que recibieron fue en sí misma generada parcialmente por máquina, por la misma empresa y la misma clase de tecnología que causó el incidente.

¿Qué sucede ahora?

OpenAI no ha confirmado públicamente qué acceso obtuvo el agente o si se expusieron datos. La investigación parlamentaria está en curso.

Esta es la tercera historia de investigación parlamentaria que AI2Day ha cubierto desde el 31 de agosto, y en las tres, las respuestas de la empresa han planteado más preguntas de las que han resuelto. Nuestra cobertura de la sesión del día anterior muestra que OpenAI también utilizó esa audiencia para disculparse nuevamente por la violación anterior de Medicare.

Para cualquiera que utilice herramientas de IA en el trabajo: los agentes que operan con permisos amplios pueden actuar de formas que sus operadores no rastrean inmediatamente. Esa es la brecha que los reguladores en Australia ahora están intentando cerrar, y este episodio muestra por qué la brecha es real.