Los guardarraíles de IA construidos para detener a los hackers ahora están bloqueando a quienes intentan detener a los hackers

Puntos clave

• En junio, el gobierno de EE.UU. impuso controles de exportación en los modelos de IA de Anthropic, Mythos y Fable, restringiendo el acceso fuera del país.
• Tanto Anthropic como OpenAI ejecutan programas verificados que brindan a los investigadores de ciberseguridad aprobados acceso algo más flexible a sus herramientas de IA.
• Múltiples investigadores de seguridad ofensiva dicen que los filtros aún bloquean el trabajo esencial y producen resultados impredecibles incluso dentro de esos programas.
• Algunos investigadores dicen que las restricciones los empujan hacia modelos de IA de código abierto chinos, como GLM, que no tienen filtros ni verificación alguna.
• Un investigador de una empresa fabricante de componentes de teléfonos inteligentes dijo que las herramientas de IA de su equipo se volvieron casi inútiles para el trabajo de seguridad porque su empleador nunca había solicitado el programa verificado.

La ciberseguridad siempre ha sido un juego de dos caras. El mismo conocimiento que permite a un defensor reparar una vulnerabilidad permite a un atacante atravesarla. Las herramientas de IA se han colocado en medio de esa tensión, y los filtros de seguridad integrados en ellas están comenzando a frustrar a las personas a las que se suponía que debían proteger.

¿Qué está saliendo mal exactamente?

Las empresas de IA colocan guardarraíles, es decir, reglas automáticas que evitan que el software responda preguntas que consideran peligrosas, en sus modelos para evitar que los criminales los usen para crear malware o planificar ataques. Esas mismas reglas bloquean a los investigadores de seguridad legítimos de hacer su trabajo.

Chris Anley, científico jefe de la empresa de consultoría de seguridad NCC Group, dio un ejemplo claro. Cuando le pide a un modelo de IA que intente explotar un error de software, está probando si el error es real y lo suficientemente peligroso como para repararlo. Un guardarraíl que rechaza esa solicitud no protege a nadie. Deja la vulnerabilidad sin confirmar y potencialmente abierta a un atacante real.

"Reparar este código es tanto un mecanismo esencial para la defensa como un mapa de ruta para encontrar vulnerabilidades críticas", le dijo Anley a TechCrunch. "La misma herramienta es tanto una herramienta ofensiva como una herramienta defensiva, y realmente no se pueden separar".

Su analogía: es como un martillo. No puedes construir una casa sin uno, pero también puede romper una ventana. Nuestra historia del 19 de julio encontró la misma tensión desde la dirección opuesta: la IA genera informes de vulnerabilidad rápidamente, pero confirmar que son reales aún requiere un ser humano.

¿Qué tan grave es la inconsistencia?

Lo suficiente como para desperdiciar tiempo serio. Chris Thompson, director ejecutivo de la empresa de ciberseguridad RemoteThreat y fundador de Offensive AI Con, una conferencia enfocada en seguridad e IA, le dijo a TechCrunch que incluso dentro de los programas de investigadores aprobados de Anthropic y OpenAI, los guardarraíles se activan de manera diferente de un día para otro.

"Pasas mucho tiempo negociando con el modelo en lugar de trabajar en el programa de seguridad central", dijo Thompson. "En lugar de analizar una vulnerabilidad, estás tratando de descubrir por qué los modelos están sobre-sanitizando el resultado".

Un investigador sin nombre de un fabricante de componentes de teléfonos inteligentes fue más directo: "Si se entera de que estamos haciendo algo relacionado con seguridad, simplemente se detiene".

¿Hacia quién está empujando esto a la gente?

Hacia modelos de código abierto sin filtros en absoluto, muchos de ellos desarrollados en China. Thompson dijo que los investigadores responsables están siendo alejados de sistemas sujetos a supervisión de EE.UU. y hacia herramientas construidas en el extranjero que no tienen responsabilidad alguna.

"Tienes a estos investigadores responsables que están siendo apartados de sistemas gobernados por EE.UU. hacia sistemas de propiedad extranjera", le dijo a TechCrunch. "Creo que es más perjudicial que beneficioso tener estos guardarraíles en su lugar".

Ese cambio tiene una dimensión política más amplia. Como informamos el 20 de julio, la disponibilidad de IA china capaz y sin restricciones ya ha abierto una división amarga dentro de la Casa Blanca sobre cómo Estados Unidos debería responder.

No todos los investigadores se sienten bloqueados. Giuseppe Cali, un investigador de vulnerabilidades de día cero (alguien que encuentra defectos de software previamente desconocidos antes de que exista parche alguno), mantiene la IA alejada de la búsqueda real de vulnerabilidades porque quiere que ese descubrimiento sea solo suyo. Para entender código desconocido y construir herramientas de apoyo, encuentra los modelos lo suficientemente útiles.

"Estoy celoso de mis errores", dijo Cali, "y me encanta este juego demasiado como para dejar que los modelos jueguen por mí".

La solución de Thompson no es eliminar completamente los guardarraíles. Quiere que los laboratorios de IA amplíen el acceso para investigadores verificados, apliquen reglas consistentes y responsabilicen a los malos actores. Sin ese equilibrio, argumenta, los defensores se quedarán rezagados respecto a los atacantes que no enfrentan tales restricciones.

Preguntas frecuentes

¿Afectan estas restricciones a los usuarios ordinarios de computadoras?

No directamente. La fricción descrita aquí afecta a investigadores de seguridad profesionales, no a las personas que usan IA en su día a día para tareas de escritura o trabajo. Los guardarraíles generales permanecen en su lugar para todos.

¿Por qué las empresas de IA restringen las preguntas de ciberseguridad en absoluto?

Les preocupa que la orientación detallada paso a paso para ataques pudiera ayudar a los criminales a crear malware o violar sistemas. La dificultad es que la misma orientación es exactamente lo que los defensores legítimos necesitan para probar y fortalecer esos sistemas primero.

¿Qué es un modelo de IA de código abierto y por qué no tiene guardarraíles?

Un modelo de IA de código abierto es uno cuyo código subyacente se publica libremente para que cualquiera pueda descargarlo y ejecutarlo en su propia computadora. Debido a que se ejecuta localmente, no hay empresa intermediaria que haga cumplir las reglas, por lo que los investigadores los usan para trabajos sensibles pero conllevan riesgos propios.