120 Gigantes Tecnológicos Quieren Compartir Incidentes de Ciberseguridad en IA Antes del Próximo Ataque
Un nuevo marco llamado SAFE permitiría a las empresas reportar discretamente fallos de seguridad en IA e intercambiar lo que aprenden, en lugar de que cada una sufra en silencio por su cuenta.
Puntos clave
- Más de 120 organizaciones en la Open Secure AI Alliance propusieron el marco SAFE el 6 de agosto de 2025, el primer día de la conferencia de seguridad Black Hat en Las Vegas.
- SAFE significa Shared AI Findings Exchange, un conjunto de directrices para recopilar y compartir incidentes de seguridad en IA en toda la industria.
- NVIDIA, Cisco, CrowdStrike, Hugging Face y Red Hat se encuentran entre los miembros que contribuyen herramientas y se unen a la alianza.
- La Linux Foundation está coordinando un período de comentarios públicos para que las organizaciones puedan dar forma a las directrices antes de ser finalizadas.
- Las empresas participantes también están lanzando docenas de herramientas de seguridad gratuitas de código abierto diseñadas específicamente para agentes de IA.
Una coalición de más de 120 empresas de tecnología está proponiendo una forma de tratar la seguridad de la IA como un problema compartido en lugar de un fracaso privado.
El grupo, llamado Open Secure AI Alliance, publicó una solicitud de comentarios públicos sobre el marco SAFE el miércoles. SAFE es la abreviatura de Shared AI Findings Exchange: un conjunto de reglas para reportar confidencialmente incidentes de seguridad que involucren agentes de IA (software que puede realizar tareas de múltiples pasos por sí solo), analizar qué salió mal y publicar las lecciones para que toda organización se beneficie. Hemos seguido esta alianza desde su formación; nuestro artículo del 4 de agosto señaló que OpenAI y Google notoriamente estaban ausentes a pesar de firmar la carta que lo inició todo.
El anuncio llegó el primer día de Black Hat, la conferencia anual de ciberseguridad donde investigadores revelan nuevos métodos de ataque y defensas.
¿Por qué importa esto a la gente común?
Los agentes de IA se están moviendo rápidamente hacia los lugares de trabajo. Los bancos y hospitales ya los están implementando. Cuando uno falla o es engañado, el daño puede propagarse rápidamente, como mostró nuestro informe del 6 de agosto sobre vulnerabilidades de navegadores de IA: investigadores encontraron aproximadamente 20 vulnerabilidades en navegadores de cinco empresas importantes, la peor de las cuales permitía a atacantes convertir su navegador en una máquina de phishing.
La mayoría de las organizaciones que sufren un fallo de seguridad en IA guardan silencio al respecto. Ese silencio significa que la próxima empresa comete el mismo error. SAFE cambiaría eso creando un canal confiable para compartir lo que sucedió, sin identificar nombres, para que los defensores en todas partes aprendan más rápido.
El marco propone cuatro cosas: recopilar y analizar confidencialmente incidentes de IA y casi accidentes, notificar a los afectados, identificar patrones en cómo fallan los controles y publicar recomendaciones basadas en evidencia para reducir el riesgo sistémico.
¿Qué herramientas ya se están compartiendo?
Más allá de la propuesta SAFE, los miembros de la alianza están lanzando herramientas gratuitas ahora.
NVIDIA lanzó varios elementos. Garak es un escáner de vulnerabilidades gratuito que verifica modelos de IA para detectar debilidades incluyendo filtraciones de datos, inyección de indicaciones (un tipo de ataque que engaña a una IA deslizando instrucciones ocultas en su entrada) y ataques de jailbreak (intentos de hacer que un modelo ignore sus reglas de seguridad) antes de su implementación. NeMo Guardrails aplica políticas de seguridad en tiempo de ejecución. NVIDIA OpenShell restringe lo que un agente realmente puede alcanzar o modificar dentro de un sistema.
| Colaborador | Herramienta | Qué hace |
|---|---|---|
| NVIDIA | Garak | Escanea modelos de IA en busca de vulnerabilidades antes de la implementación |
| Microsoft | PyRIT | Automatiza pruebas de equipo rojo de sistemas de IA |
| Amazon | Cedar | Establece límites verificables y auditables sobre lo que pueden hacer los agentes |
| Capital One | VulnHunter | Encuentra defectos de seguridad en código generado por IA |
| Visa | Vulnerability Agentic Harness | Ayuda a los equipos a encontrar y solucionar problemas de seguridad de agentes |
| Cisco | Antares SLMs | Pequeños modelos de lenguaje entrenados para identificar vulnerabilidades en bases de código |
Amazon se unió a la alianza el día del anuncio y contribuyó dos herramientas: Strands Agents, un kit de herramientas de código abierto para construir agentes de IA, y Cedar, un lenguaje de código abierto para establecer reglas estrictas y auditables sobre lo que se permite y no se permite a un agente.
Visa también se unió, contribuyendo un marco de pruebas de vulnerabilidad construido específicamente para sistemas de agentes.
¿Qué sucede a continuación?
SAFE sigue siendo una propuesta; la Linux Foundation está recopilando comentarios antes de que se publique cualquier versión final.
Para empresas que ya ejecutan agentes de IA, el punto práctico es que herramientas de seguridad gratuitas y verificadas están disponibles hoy. Los equipos de seguridad no necesitan esperar a que se finalicen las directrices antes de usar Garak o Cedar para fortalecer lo que ya han implementado.
Preguntas frecuentes
¿Es este marco obligatorio?
No. SAFE es un conjunto voluntario de directrices. Cualquier organización puede adoptarlo o enviar comentarios para moldearlo durante el período de retroalimentación abierta.
¿Compartir datos de incidentes significa exponer información privada de la empresa?
La propuesta específicamente requiere recopilación y análisis confidencial, lo que significa que la intención es compartir patrones y lecciones en lugar de identificar qué empresa fue afectada o cómo se ven sus sistemas internos.
¿Estas herramientas cuestan dinero?
Todas las herramientas nombradas en el anuncio son de código abierto, lo que significa que son gratuitas para descargar y usar, publicadas en plataformas como GitHub para que cualquier equipo de seguridad las inspeccione e implemente.
