Con apenas una semana de vida y ya en funcionamiento: la nueva alianza de seguridad en IA dando sus primeros pasos
Más de 120 empresas, entre ellas Nvidia, Microsoft y Visa, han formado un grupo para compartir abiertamente conocimientos sobre seguridad en IA. Grandes nombres como OpenAI y Google brillan por su ausencia, a pesar de que ambos firmaron la carta que lo inició todo.
Puntos clave
- La Alianza Abierta de IA Segura (OSAA), liderada por Nvidia, se lanzó hace menos de dos semanas y ya cuenta con más de 120 empresas miembro.
- Un grupo de trabajo llamado Intercambio Compartido de Hallazgos de IA (SAFE) ha publicado sus primeras propuestas en borrador para comentarios públicos.
- Adobe, Cisco, Intel, Microsoft y Visa son miembros; OpenAI, Google y Anthropic no lo son.
- Tanto OpenAI como Google firmaron la carta abierta original que creó el grupo, lo que hace que su ausencia del grupo sea notable.
- La Fundación Linux, una organización sin fines de lucro que gestiona proyectos de software de código abierto ampliamente utilizados, está supervisando las propuestas.
Una alianza industrial completamente nueva construida alrededor de mantener la IA segura ya está haciendo algo inusual para una organización de una semana de vida: trabajo real.
La Alianza Abierta de IA Segura, conocida como OSAA y liderada por Nvidia, presentó su primer resultado concreto en la conferencia de ciberseguridad Black Hat en Las Vegas esta semana. Dentro de OSAA hay un grupo de trabajo llamado Intercambio Compartido de Hallazgos de IA, o SAFE. Sus primeras propuestas en borrador ya están abiertas para comentarios públicos, con la Fundación Linux, una organización sin fines de lucro que gestiona software de código abierto ampliamente utilizado, supervisando el proceso.
¿Qué está proponiendo realmente el grupo?
Las primeras propuestas son prácticas en lugar de vistosas. Cubren cómo las empresas deben informar confidencialmente sobre incidentes de seguridad en IA, cómo alertar a todos los afectados y cómo llevar a cabo revisiones sin culpabilidad para que toda la industria pueda aprender de los errores.
Los miembros también están agrupando herramientas de código abierto. Nvidia está contribuyendo con una familia de modelos de IA abiertos y una herramienta llamada Garak, un escáner que busca vulnerabilidades en modelos de lenguaje grande (la tecnología detrás de los chatbots de IA). La empresa de seguridad de identidad Okta está trabajando en formas de verificar la identidad de agentes de IA, programas de software que pueden ejecutar tareas de múltiples pasos por sí solos. Red Hat está trabajando en marcos de gobernanza para esos mismos agentes. Amazon ha contribuido dos herramientas: Strands Agents, para construir agentes de IA, y Cedar, un lenguaje para definir quién o qué puede hacer qué dentro de un sistema de software.
El objetivo, con el tiempo, es que estas piezas sumen un kit de herramientas de código abierto práctico que cualquier negocio pudiera usar para asegurar sus sistemas de IA o defenderse contra ataques, incluyendo incidentes como un modelo de IA malicioso infiltrándose en una plataforma externa. Hugging Face, un sitio popular para compartir modelos de IA que sufrió exactamente ese tipo de incidente involucrando un modelo de OpenAI, es en sí mismo miembro de OSAA.
¿Quién está dentro y quién falta?
La lista de miembros tiene un peso serio. Adobe, BlackRock, Cisco, Intel, Microsoft y Visa se han unido todos.
Notablemente ausentes son Anthropic (que crea el asistente de IA Claude), OpenAI (ChatGPT) y Google. Este último par es especialmente curioso. Ambas empresas firmaron la carta abierta, informada primero por AI2Day, que instaba a la Casa Blanca a apoyar el desarrollo de IA de código abierto. Esa carta, respaldada por más de 200 empresas tecnológicas y defendida por Nvidia, fue publicada hace apenas una semana. Firmar la carta que creó un grupo y luego no unirse al grupo es una posición extraña de mantener.
La distancia de Anthropic es menos sorprendente. La empresa históricamente ha mantenido una distancia cautelosa de los esfuerzos de IA de código abierto.
¿Qué significa esto para la gente común?
Por ahora, nada cambia en tu vida diaria. Pero si esta alianza tiene éxito, las empresas detrás de las aplicaciones y servicios que utilizas compartirán conocimientos de seguridad más rápido, parcharán vulnerabilidades de IA más rápidamente y tendrán mejores herramientas para impedir que los sistemas de IA se vuelvan contra sus usuarios. Una cultura de informes sin culpabilidad, donde las empresas reconocen problemas sin temor al castigo, es el tipo de cambio estructural que silenciosamente hace la tecnología más segura para todos.
La alianza misma lo expresó claramente en su carta fundadora: "La apertura puede ser uno de los caminos más importantes hacia la seguridad y la protección de la IA". Dado el ritmo al que se ha movido hasta ahora, esa afirmación merece ser tomada en serio.
Preguntas frecuentes
¿Es SAFE un organismo gubernamental?
No. SAFE es un grupo de trabajo privado de la industria dentro de OSAA, gestionado por la Fundación Linux. No tiene poder regulatorio; la participación es voluntaria.
¿Afecta esto a mis herramientas de IA en este momento?
No directamente. Las propuestas están en forma de borrador y abiertas para comentarios. Cualquier herramienta o estándar que surja será adoptado por las empresas miembro a su propio ritmo.
¿Por qué importa la IA de código abierto para la seguridad?
Cuando el código de IA está abierto para que cualquiera lo inspeccione, los investigadores de seguridad pueden encontrar y reportar problemas más rápido. Los sistemas cerrados dependen de que la empresa sola detecte fallas, lo que históricamente toma más tiempo.
