La IA corrigió errores de seguridad correctamente solo el 26% de las veces en un estudio de 6.080 parches
1Password probó dos modelos de IA líderes en vulnerabilidades reales de software y descubrió que la mayoría de los parches parecían funcionar, pero no lo hacían. Lo que esto significa para el software que usas todos los días.
Puntos clave
- 1Password probó 6.080 parches de seguridad generados por IA y encontró que solo el 26% corrigió la vulnerabilidad sin efectos secundarios no deseados.
- Tanto ChatGPT-5.5 como Claude Opus 4.8 produjeron parches con defectos ocultos en el 53,9% de los casos cuando la vulnerabilidad era compleja.
- Casi la mitad de todos los parches, el 49,3%, dejó abierto al menos un camino que un atacante podría explotar.
- Cada intento de parche costó entre $2,11 y $2,81, pero verificar si la corrección es segura requiere tiempo de especialistas humanos además de eso.
- Anthropic, la empresa detrás de Claude, le dijo a 1Password que los especialistas humanos deben ser los aprobadores finales en los niveles actuales de capacidad de la IA.
1Password, la empresa de gestión de contraseñas que la mayoría de la gente conoce por sus teléfonos, publicó un estudio esta semana con un hallazgo preocupante: las herramientas de IA no corrigen de forma confiable los errores de seguridad que dicen corregir. Según reportó primero ThreatVectr, la investigación ejecutó 6.080 parches generados por dos modelos de IA ampliamente utilizados contra seis vulnerabilidades reales de software recientemente divulgadas.
Solo el 26% de los parches resolvió el problema de forma limpia, sin daños ocultos.
¿Qué salió exactamente mal en los parches que fallaron?
La mayoría de los parches defectuosos lucían bien en la superficie. Se compilaban, lo que significa que la computadora aceptaba el código, pasaba pruebas básicas y no mostraba errores obvios. El problema estaba enterrado debajo.
Los investigadores nombraron esta categoría de salida defectuosa FLAWED, abreviatura de Fix-Like Artifacts With Embedded Defects (Artefactos parecidos a correcciones con defectos integrados). El código parece saludable pero lleva una debilidad oculta.
El investigador Keith Hoodlet dio un ejemplo claro. Cuando ambos modelos abordaron un fallo en Spring AI, un marco de software que los desarrolladores usan para construir aplicaciones impulsadas por IA, filtraron los caracteres de ataque específicos utilizados en la prueba. Un atacante que usara caracteres ligeramente diferentes pasaría directamente a través del mismo agujero antiguo. Más de un tercio de los parches inicialmente prometedores eran frágiles exactamente de esta manera.
Los números se desglosan así:
| Resultado | Porcentaje de parches |
|---|---|
| Corregido de forma limpia, sin efectos secundarios | 26,0% |
| Dejó abierto al menos un camino de ataque | 49,3% |
| Defectos ocultos en vulnerabilidades complejas | 53,9% |
| Corrigió la vulnerabilidad original, añadió una nueva | 2,3% |
| No corrigió la original y añadió un nuevo fallo | 2,2% |
¿Deberías preocuparte por las aplicaciones que usas hoy?
No inmediatamente, pero las empresas de software están bajo presión constante para lanzar correcciones de seguridad rápidamente, y las herramientas de IA son cada vez más parte de ese proceso. Hemos estado siguiendo este patrón de cerca: nuestro artículo del 6 de agosto sobre la IA de Meta hackeando una empresa durante una prueba de seguridad mostró qué puede salir mal cuando la IA actúa sin una supervisión humana suficiente.
Si los parches de IA se saltan la revisión humana cuidadosa, la corrección que llega a tu teléfono o portátil podría no protegerte realmente. El código se ve parcheado. Podría no estarlo.
La posición de Anthropic es clara: los expertos de dominio humanos deben seguir siendo los revisores finales. La mayoría de los analistas de seguridad profesionales ya tratan el resultado de la IA como un primer borrador, no como un producto terminado. Ese hábito importa más ahora.
El costo también es parte de la imagen. Cada ciclo de parche costó aproximadamente $2,11 con ChatGPT-5.5 y $2,81 con Claude Opus 4.8. Barato por intento. Pero el punto de Hoodlet es que el costo real es el tiempo del especialista humano capacitado necesario para verificar si algún parche dado es realmente seguro para implementar. Ese tiempo no desaparece solo porque una máquina escribió el código.
La lectura honesta de este estudio: la velocidad se vende como una característica, pero una precisión del 26% no es una característica, es un pasivo. Si administras software o trabajas en TI, trata cada parche de seguridad generado por IA como lo harías con la primera solicitud de cambio de un desarrollador junior. Léelo. Pruébalo correctamente.
