120 gigantes tecnológicos quieren compartir incidentes de seguridad de IA antes del próximo ataque
Un nuevo marco llamado SAFE permitiría que las empresas reporten discretamente fallos de seguridad de IA y compartan lo que aprenden, en lugar de que cada una sufra en silencio.
Puntos clave
- Más de 120 organizaciones de la Alianza de IA Segura Abierta propusieron el marco SAFE el 6 de agosto de 2025, el primer día de la conferencia de seguridad Black Hat en Las Vegas.
- SAFE es el acrónimo de Intercambio Compartido de Hallazgos de IA, un conjunto de directrices para recopilar y compartir incidentes de seguridad de IA en toda la industria.
- NVIDIA, Cisco, CrowdStrike, Amazon y Visa están entre los miembros que contribuyen herramientas y se unen a la alianza.
- La Fundación Linux coordina un período de comentarios públicos para que las organizaciones moldeen las directrices antes de su finalización.
- Las empresas participantes también están lanzando decenas de herramientas de seguridad gratuitas y de código abierto diseñadas específicamente para agentes de IA.
Una coalición de más de 120 empresas de tecnología propone una forma de tratar la seguridad de IA como un problema compartido en lugar de un fracaso privado.
El grupo, llamado Alianza de IA Segura Abierta, publicó una solicitud de comentarios públicos sobre el marco SAFE el miércoles. SAFE es la abreviatura de Intercambio Compartido de Hallazgos de IA. En términos sencillos, es un conjunto de reglas para reportar confidencialmente incidentes de seguridad que involucran agentes de IA (software que puede realizar tareas de múltiples pasos de forma autónoma, como reservar reuniones, escribir código o escanear una red), analizar qué salió mal y publicar las lecciones para que toda organización se beneficie.
El anuncio llegó el primer día de Black Hat, la conferencia anual de ciberseguridad donde los investigadores revelan nuevos métodos de ataque y defensa.
¿Por qué importa esto a la gente ordinaria?
Los agentes de IA se están trasladando rápidamente a los lugares de trabajo. Los bancos, hospitales, aseguradoras y minoristas ya los están implementando. Cuando uno falla o es engañado, el daño puede propagarse rápidamente.
Actualmente, la mayoría de las organizaciones que sufren un fallo de seguridad de IA guardan silencio al respecto. Ese silencio significa que la siguiente empresa comete el mismo error. SAFE cambiaría eso al crear un canal confiable para compartir lo que sucedió, sin revelar nombres, para que los defensores en todas partes aprendan más rápido.
El marco propone cuatro cosas concretas: recopilar y analizar confidencialmente incidentes de IA y casi-accidentes, notificar a los afectados, identificar patrones en cómo fallan los controles y publicar recomendaciones basadas en evidencia para reducir el riesgo sistémico.
¿Qué herramientas ya se están compartiendo?
Más allá de la propuesta SAFE, los miembros de la alianza están lanzando herramientas gratuitas ahora.
NVIDIA, cuyas contribuciones NVIDIA destacó en su propio anuncio, lanzó varios elementos. Garak es un escáner de vulnerabilidades gratuito, una herramienta que verifica los modelos de IA para detectar debilidades como fugas de datos, inyección de indicaciones (un tipo de ataque que engaña a una IA al deslizar instrucciones ocultas en su entrada) y jailbreaks (intentos de hacer que un modelo ignore sus reglas de seguridad) antes de que el modelo se ponga en marcha. NeMo Guardrails aplica políticas de seguridad en tiempo de ejecución. El runtime NVIDIA OpenShell restringe lo que un agente puede alcanzar o modificar dentro de un sistema.
| Contribuyente | Herramienta | Qué hace |
|---|---|---|
| NVIDIA | Garak | Escanea modelos de IA en busca de vulnerabilidades antes del despliegue |
| Microsoft | PyRIT | Automatiza pruebas de equipo rojo de sistemas de IA |
| Amazon | Cedar | Establece límites verificables y auditables sobre lo que pueden hacer los agentes |
| Capital One | VulnHunter | Encuentra fallos de seguridad en código generado por IA |
| Visa | Vulnerability Agentic Harness | Ayuda a los equipos a encontrar y corregir problemas de seguridad de agentes |
| Cisco | Antares SLMs | Modelos de lenguaje pequeño entrenados para identificar vulnerabilidades en bases de código |
Amazon se unió a la alianza el mismo día del anuncio y contribuyó dos herramientas: Strands Agents, un conjunto de herramientas de código abierto para construir agentes de IA, y Cedar, un lenguaje de código abierto para establecer reglas estrictas y auditables sobre lo que un agente puede y no puede hacer.
Visa también se unió, contribuyendo con un arnés de prueba de vulnerabilidad construido específicamente para sistemas agenticos.
¿Qué viene después?
El marco SAFE sigue siendo una propuesta. La Fundación Linux está recopilando comentarios antes de que se publique cualquier versión final.
Para las empresas que ya utilizan agentes de IA, la conclusión práctica es que hay herramientas de seguridad gratuitas y verificadas disponibles hoy. Los equipos de seguridad no necesitan esperar a que se finalicen las directrices antes de usar Garak, PyRIT o Cedar para fortalecer lo que ya han implementado.
Preguntas frecuentes
¿Es obligatorio este marco?
No. SAFE es un conjunto voluntario de directrices. Cualquier organización puede elegir adoptarlo, ignorarlo o enviar comentarios para moldearlo durante el período de retroalimentación abierta.
¿Compartir datos de incidentes significa exponer información privada de la empresa?
La propuesta específicamente solicita recopilación y análisis confidencial, lo que significa que la intención es compartir patrones y lecciones en lugar de identificar qué empresa fue afectada o cómo se ven sus sistemas internos.
¿Estas herramientas cuestan dinero?
Todas las herramientas mencionadas en el anuncio son de código abierto, lo que significa que son gratuitas para descargar y usar. Se publican en plataformas como GitHub para que cualquier equipo de seguridad las inspeccione e implemente.
