Los investigadores están convirtiendo el arma favorita de los piratas informáticos en su contra
Una empresa de ciberseguridad descubrió que ocultar instrucciones especiales dentro de credenciales en la nube puede hacer que las herramientas de piratería con IA se desactiven automáticamente.
Puntos clave
- Los investigadores de Tracebit publicaron el lunes hallazgos que demuestran que las inyecciones de instrucciones pueden utilizarse como trampa defensiva contra agentes de piratería con IA.
- La técnica funciona colocando instrucciones ocultas junto a contraseñas y claves criptográficas almacenadas en Amazon Web Services (AWS), la plataforma de computación en la nube de Amazon.
- Las instrucciones ocultas engañan a la IA atacante para que intente algo que sus propias reglas de seguridad prohíben, lo que la detiene.
- No se necesita ningún parche ni actualización de software en el lado del atacante; las barreras de seguridad integradas de la IA hacen el trabajo pesado.
Durante años, los atacantes han utilizado un truco llamado inyección de instrucciones para secuestrar asistentes de IA. Una inyección de instrucciones es una instrucción oculta incrustada en contenido ordinario, como un correo electrónico o una invitación de calendario, que indica a una IA que haga algo que su propietario nunca tuvo la intención. La IA la lee, la trata como legítima y la sigue. Los datos sensibles se filtran.
Ahora una empresa de seguridad llamada Tracebit ha invertido el truco.
El lunes, los investigadores de Tracebit informaron, cubierto primero por Ars Technica AI, que habían encontrado una manera de usar inyecciones de instrucciones como trampa en lugar de arma. Coloque una instrucción oculta cuidadosamente redactada justo al lado de las contraseñas, claves criptográficas (largas cadenas de caracteres que cifran y protegen datos) y otros secretos almacenados en AWS. Cuando un agente de piratería impulsado por IA, software que ejecuta ataques de varios pasos de forma autónoma, irrumpe y lee esas credenciales, también lee su instrucción.
Esa instrucción ordena a la IA atacante que haga algo que sus desarrolladores han prohibido específicamente.
Las empresas de IA integran lo que se llamaban barreras de seguridad en sus modelos: un conjunto de reglas que evita que la IA cruce ciertos límites, como ayudar a alguien a causar daño. Cuando la IA atrapada intenta seguir el comando inyectado, golpea una de esas líneas y se detiene. El ataque termina.
Es una elegante pieza de judo de seguridad.
El enfoque pertenece a una categoría más amplia llamada honeytokens o canary tokens, credenciales señuelo dejadas en lugares donde es probable que los atacantes busquen. Si alguien las toca, sabes que está en curso una infracción. La versión de Tracebit hace el mismo trabajo y disrumpe activamente al atacante, en lugar de solo sonar una alarma.
¿Esto significa que el piratería con IA está resuelto?
No. Esta técnica funciona específicamente contra agentes de IA que dependen de modelos de lenguaje grande, la tecnología detrás de herramientas como ChatGPT, porque esos modelos tienen reglas de seguridad integradas que pueden activarse. Un atacante humano, o una IA simplificada sin barreras de seguridad, ignoraría completamente la instrucción inyectada. El hallazgo es prometedor, pero es una capa de defensa, no una respuesta completa.
Observe de cerca la cuestión de las barreras de seguridad. Si los desarrolladores de IA recortan las barreras de seguridad bajo presión comercial, toda la premisa de esta defensa se debilita. Lo que Tracebit ha demostrado es genuinamente inteligente; si se mantendrá útil depende de decisiones que se toman fuera de la comunidad de seguridad.
