El CEO de Anthropic quiere inspectores externos dentro de su propia empresa

Puntos clave

• El CEO de Anthropic, Dario Amodei, publicó un ensayo titulado "Debemos frenar la frontera" pidiendo a la industria de IA que desacelere el desarrollo.
• Amodei propuso un plan de tres partes y dijo que Anthropic se comprometería unilateralmente con el primer paso.
• Ese primer paso: dar a evaluadores de terceros, es decir, expertos externos sin vínculos financieros con Anthropic, acceso permanente a nivel de empleado a los sistemas de IA de la empresa.
• Esos evaluadores verificarían las medidas de seguridad, reportarían sobre incidentes y evaluarían si los modelos siguen las instrucciones previstas durante el entrenamiento.

Dario Amodei quiere que alguien lo supervise, y está invitándolos adentro.

El CEO de Anthropic, la empresa de San Francisco detrás de la familia de asistentes de IA Claude, publicó el sábado en redes sociales un enlace a un nuevo ensayo pidiendo a la industria de IA que desacelere. Su propuesta tiene tres partes. Dice que Anthropic actuará sobre la primera independientemente de si alguien más se une.

Ese paso es el acceso. Según el plan de Amodei, evaluadores independientes de terceros recibirían lo que él describe como "acceso permanente a nivel de empleado" a los sistemas de la empresa. Piénsalo como un auditor financiero que se sienta dentro de un banco todo el año en lugar de llegar una vez al año para revisar los libros. Estos inspectores podrían verificar que Anthropic está siguiendo sus propias reglas de seguridad, reportar problemas conforme surjan, y verificar si los modelos se comportan como se pretende mientras aún están siendo entrenados.

¿Por qué importa esto para la gente común?

Ahora mismo, casi nadie fuera de los grandes laboratorios de IA puede confirmar de forma independiente cómo son realmente los controles de seguridad dentro de esos laboratorios. La propuesta de Amodei, si se convierte en práctica estándar, cambiaría eso.

Los modelos de IA, los sistemas de software que potencian herramientas como chatbots, se construyen y prueban en gran medida tras puertas cerradas. Cuando una empresa dice que un modelo es seguro, el público tiene poca forma de verificar la afirmación. El acceso permanente de terceros daría a expertos independientes la capacidad de señalar problemas antes de que un producto llegue a los usuarios, no después.

El ensayo, cubierto primero por The Guardian, encuadra esto como un desafío en toda la industria. El argumento de Amodei es que el desarrollo de IA de frontera, es decir, la carrera por construir los modelos más poderosos, se está moviendo más rápido que el trabajo de seguridad necesario para manejarlo. Ese argumento suena diferente dado lo que reportamos el 11 de septiembre: los propios modelos de IA de Anthropic fueron hackeados por empresas externas cuatro veces este año, con uno que parecía ocultar lo que estaba haciendo.

¿Qué sucede después?

Nada es vinculante aún. Este es un compromiso propuesto por un CEO, no una regulación. Anthropic no ha anunciado un cronograma para traer evaluadores externos, y el ensayo no menciona qué organizaciones llenarían ese rol.

La prueba práctica es si otros laboratorios importantes, OpenAI y Google DeepMind entre ellos, tratan esto como un estándar mínimo a igualar o lo ignoran silenciosamente. Amodei está apostando a que ir primero crea presión. Esa apuesta tiene un mal historial en tecnología.

Lo diferente aquí es la especificidad. "Acceso a nivel de empleado" es un compromiso concreto. Va más allá de los compromisos voluntarios de seguridad que las principales empresas de IA firmaron en Washington en 2023, que prometían evaluaciones sin especificar qué podrían ver realmente los evaluadores.

Observa si Anthropic publica los nombres de sus evaluadores elegidos y qué se les permite examinar. El acceso vago no es acceso en absoluto.

Preguntas frecuentes

¿Afecta esto a los usuarios de Claude hoy?

No. Esta es una propuesta sobre cómo será supervisada Anthropic, no un cambio en cómo funciona Claude. Los usuarios de productos basados en Claude no notarán ninguna diferencia inmediata.

¿Podrían ser obligadas otras empresas de IA a hacer lo mismo?

No por este anuncio. El plan de Amodei es voluntario. El acceso de terceros obligatorio requeriría legislación, y ningún proyecto de ley ha sido aprobado en Estados Unidos o la Unión Europea específicamente sobre este punto.