Uno de cada tres comandos peligrosos de IA en programación se cuela ante revisores humanos, revelan datos del juego
Un juego de navegador que simula solicitudes reales de agentes de IA para programación encontró que los jugadores aprobaban aproximadamente un tercio de comandos maliciosos en más de 40.000 ejecuciones. Los números señalan un problema que ya se manifiesta en producción.
Puntos clave
- Los jugadores aprobaron aproximadamente uno de cada tres solicitudes maliciosas de agentes de IA para programación en más de 40.000 ejecuciones del juego y 409.000 comandos totales revisados.
- El comando peligroso más frecuentemente pasado por alto, "npm run analyze", fue aprobado casi el 65 por ciento de las veces a pesar de una advertencia visible en el registro histórico del juego.
- La telemetría propia de Anthropic muestra que usuarios reales aprueban alrededor del 93 por ciento de los mensajes de permiso de Claude Code, su herramienta de programación con IA.
- El "modo automático" de Claude Code detecta aproximadamente el 83 por ciento de comportamientos excesivos o peligrosos antes de que se ejecuten, dejando alrededor del 17 por ciento para que llegue a un revisor humano.
- El desarrollador belga Alex Wauters construyó el juego a finales de mayo de 2025 después de notar que los desarrolladores aprueban todo ciegamente o ignoran completamente las comprobaciones de permisos.
La prueba de estrés más honesta sobre seguridad en programación con IA es actualmente un juego de navegador que puedes terminar en menos de un minuto.
El juego, creado por el desarrollador de software belga Alex Wauters, te pone en el lugar de un revisor humano observando a un agente de IA para programación (software que realiza tareas de programación complejas paso a paso en tu nombre) solicitar permiso para ejecutar comandos. Tienes 60 segundos. Aprueba los seguros. Bloquea los peligrosos.
En más de 40.000 ejecuciones, los jugadores aprobaron aproximadamente uno de cada tres solicitudes maliciosas. No es un buen número.
¿Por qué los humanos siguen aprobando comandos peligrosos?
La fatiga es la respuesta corta. Revisar cada acción que realiza un agente de IA es genuinamente agotador, y cuando te ves inundado de mensajes, la atención se desvanece.
Wauters construyó el juego después de notar un patrón entre los desarrolladores que utilizan Claude Code. Frente a una avalancha de ventanas emergentes de permisos, muchos simplemente activaban "dangerously-skip-permissions", que permite que el modelo se ejecute sin aprobación humana. Otros hacían clic en aprobar todo sin leerlo. Ninguna opción es segura.
"La gran cantidad de ruido introduce fatiga, y los desarrolladores no siempre tienen el contexto de lo que ha cambiado para determinar rápidamente el riesgo", escribió Wauters en una publicación de blog publicada junto con el juego.
Los datos lo confirman. Las violaciones de alcance, como cuando un agente lee silenciosamente archivos de credenciales de AWS o datos de configuración de Kubernetes (archivos que almacenan claves de inicio de sesión y configuraciones de servidor, exactamente lo que un atacante quiere), se pasaron por alto el 35 por ciento de las veces. Los comandos obviamente catastróficos, como ordenar la eliminación de todo un sistema de archivos, fueron detectados con mayor frecuencia. La gente aún reconoce una bomba.
Las amenazas más sutiles se filtraron. Las solicitudes curl a direcciones web desconocidas y paquetes con nombre similar (software con nombres deliberadamente mal escritos para parecerse a otros de confianza, diseñados para engañar a la gente a que ejecute código malicioso) se pasaron por alto casi tan frecuentemente como los robos de credenciales.
| Tipo de comando | Tasa aproximada de omisión |
|---|---|
| Violaciones de alcance (p. ej., lectura de archivos de credenciales) | 35% |
| Paquetes con nombre similar | ~35% |
| Solicitudes curl a API desconocidas | ~35% |
| Inyecciones de crontab / secuestros de configuración de git | Más baja |
| Comandos obviamente destructivos (p. ej., eliminar raíz) | La más baja |
El peor resultado: "npm run analyze", un comando que suena rutinario pero puede configurarse para ejecutar cualquier código oculto dentro de un archivo de proyecto. Casi el 65 por ciento de los jugadores lo aprobaron. El juego mostró una advertencia en el registro histórico directamente encima del botón de aprobación. Dos tercios no la leyeron.
¿Esto está sucediendo realmente fuera del juego?
Sí. Anthropic lo confirmó con sus propios datos.
En una publicación de mayo de 2025 sobre cómo Claude Code maneja los permisos, la empresa dijo que los usuarios aprueban alrededor del 93 por ciento de todos los mensajes de permiso que genera la herramienta. "Cuantas más aprobaciones ve un usuario, menos atención presta a cada una", escribió Anthropic. Nuestra cobertura de Claude Code ha señalado el mal funcionamiento de agentes como un tema recurrente desde julio de 2026, y estos datos encajan incómodamente bien con ese patrón.
La respuesta de Anthropic es el "modo automático", un sistema que utiliza un clasificador de IA separado (un modelo entrenado para juzgar si un comando parece arriesgado) para filtrar solicitudes peligrosas antes de que lleguen a un humano. Detecta alrededor del 83 por ciento de acciones problemáticas. El 17 por ciento restante sigue llegando al escritorio de un humano.
Anthropic es claro que el modo automático es "una capa de defensa en profundidad dentro de un sandbox, no un sustituto de uno".
Wauters está de acuerdo. Su recomendación: ejecutar agentes de programación dentro de entornos aislados llamados sandboxes o devcontainers (espacios de trabajo digitales cerrados que limitan lo que un agente puede tocar en tu máquina real), usar herramientas como el modo automático, y escribir hooks personalizados (pequeños scripts que interceptan comandos antes de ejecutarse) para detectar cualquier cosa sospechosa antes de que se ejecute.
"Necesitamos hacer que las herramientas sean más fáciles de usar para que estos sistemas sean más seguros que señalar la revisión humana como una solución válida", nos dijo a The Register AI.
¿Deberías preocuparte?
Si le asignas una tarea larga a un agente de IA y te vas, lo que regresa podría no ser lo que esperabas. La verdadera historia aquí no es que los humanos sean malos revisores bajo presión. Es que la industria diseñó un flujo de trabajo que asume que serán buenos, y nadie verificó esa suposición hasta que un juego de navegador lo hizo por ellos. La tasa de captura del 83 por ciento del modo automático es genuinamente útil, pero una herramienta que aún permite que el 17 por ciento de las acciones peligrosas pasen no puede ser la última palabra sobre seguridad. Observa qué construye Anthropic y otros en la capa de permisos a continuación.
