Un laboratorio de IA estadounidense construido para rivalizar con modelos chinos dice que esos mismos modelos no son una amenaza de piratería

Puntos clave

• Lucas Atkins, CTO de Arcee, le dijo a TechCrunch AI que los modelos de IA chinos de peso abierto no presentan mayor riesgo de seguridad que cualquier otro software de código abierto que una empresa pueda ejecutar.
• Los modelos de peso abierto de empresas chinas como Qwen de Alibaba cuestan una fracción de lo que cobran los modelos cerrados de OpenAI y Anthropic por token, la unidad más pequeña de texto que procesa una IA.
• La administración Trump ha discutido prohibir modelos de IA chinos pero no había actuado sobre la idea al momento de la publicación.
• Arcee, una startup estadounidense que construye sus propios modelos abiertos como alternativa doméstica, se beneficiaría directamente de una prohibición, sin embargo sigue argumentando en contra.
• Las empresas ya realizan verificaciones de seguridad y ajuste fino personalizado en cualquier modelo de IA antes del despliegue, lo que reduce aún más el riesgo.

Existe un argumento creciente en Washington y Silicon Valley de que los modelos de IA chinos son software peligroso que debería prohibirse. Arcee, una startup estadounidense que se beneficiaría exactamente de esa prohibición, no está de acuerdo.

Lucas Atkins, director de tecnología de Arcee, le dijo a TechCrunch AI que el temor malinterpreta cómo funcionan estos modelos. "Mucha gente lo ve como similar a un programa de software chino", dijo, uno "codificado con estas intenciones x, y, z" que un actor malicioso podría simplemente activar por comando.

Así no funciona.

Un modelo de peso abierto, es decir, un modelo cuya configuración matemática central se publica para que cualquiera pueda descargar e inspeccionar, no puede comunicarse de vuelta una vez que se ejecuta en tus propios servidores. "Realmente no hay forma para que una Arcee, o una Alibaba, cree un modelo, que alguien lo ejecute en su propio entorno y que nosotros tengamos acceso alguno a él", explicó Atkins.

Los modelos de empresas chinas como Qwen de Alibaba o Kimi K3 de Moonshot AI se distribuyen a través de plataformas como Hugging Face, una biblioteca pública para modelos de IA. Cualquiera puede descargar e inspeccionar el código que realmente se ejecuta en un servidor. Lo que permanece privado es el conjunto de datos de entrenamiento y los métodos utilizados para construir el modelo, pero eso no viaja con la descarga. Nuestro artículo del 16 de julio sobre Kimi K3 señaló que estaba destinado a ser el modelo de peso abierto más grande de China, competitivo con el mejor sistema cerrado de Anthropic.

¿Podría una trampa oculta estar incorporada durante el entrenamiento?

Sí, teóricamente. Un actor suficientemente decidido podría entrenar un modelo para que se comporte perfectamente en la mayoría de situaciones e insertar secretamente un comportamiento dañino que se active solo bajo condiciones muy específicas. Piensa en ello como un agente durmiente esperando una palabra de código particular.

Atkins, que entrena modelos para vivir, concede que la idea no es imposible. Pero añade: "No sé cómo lo harías". Los grandes modelos de lenguaje, la tecnología detrás de herramientas como ChatGPT, son creativos por naturaleza. Lograr que uno produzca de manera confiable resultados dañinos solo cuando recibe un disparador preciso y preplanificado es genuinamente difícil, y las probabilidades de que una empresa luego accidentalmente use ese resultado en producción son aún más delgadas.

Las grandes empresas ya someten cualquier modelo de IA a pruebas de seguridad antes de que el personal o los clientes interactúen con él. Lo personalizan para sus necesidades y verifican sesgos, alucinaciones y resultados tóxicos. Ese proceso atrapería mucho.

Atkins quiere una conversación diferente. "En lugar de que la conversación sea sobre cómo prohibir modelos chinos, debería ser sobre cómo construimos un buen ecosistema abierto aquí en EE.UU.", dijo.

Arcee incluso se beneficia de que los modelos chinos sean buenos. Porque son abiertos, la startup puede estudiarlos, aprender de ellos y competir con ellos. "Tenemos un gran respeto por las personas que construyen esos modelos, los investigadores individuales", dijo Atkins. La respuesta real es contundente: "Lanza un modelo que sea mejor".

Las empresas rentables que presionan más fuerte por una prohibición son las que más tienen que ganar al matar la competencia más barata. Este es el hilo que vale la pena observar, no la amenaza de una puerta trasera oculta.