Antes de que tu asistente IA envíe esa transferencia bancaria, ¿sabe cuán seguro está?

Puntos clave

• Apple ML Research publicó un estudio sobre cuantificación de incertidumbre (UQ) para la llamada de funciones IA, advirtiendo que los agentes IA demasiado seguros de sí mismos pueden causar daño irreversible.
• Los modelos de lenguaje grande se utilizan cada vez más para realizar tareas del mundo real, como transferir dinero, reservar vuelos o eliminar archivos en nombre del usuario.
• La investigación sostiene que medir la confianza propia del modelo IA antes de actuar podría prevenir errores costosos y difíciles de revertir.
• Los sistemas de llamada de funciones actuales a menudo ejecutan acciones sin ninguna comprobación interna sobre si la IA está realmente segura de que está haciendo lo correcto.

Imagina pedirle a un asistente de voz que pague tu factura de electricidad. Escucha tu instrucción, decide qué cuenta bancaria usar, elige un monto y envía el pago. Listo. Excepto: ¿y si malinterpretó tu instrucción? ¿Y si envió diez veces la cantidad? El dinero se fue.

Este es el problema que investigadores de Apple ML Research se propusieron abordar. Su trabajo se enfoca en lo que sucede cuando un modelo de lenguaje grande, la tecnología detrás de chatbots como ChatGPT y Claude, tiene la capacidad de llamar funciones, lo que significa que puede comunicarse y realmente hacer cosas en el mundo en lugar de solo responder preguntas en una ventana de chat.

La llamada de funciones ya está en todas partes. Cuando una IA reserva un restaurante, consulta una base de datos o envía un correo electrónico en tu nombre, está utilizando esta capacidad. La conveniencia es real. También lo es el riesgo.

Los investigadores señalan una brecha que la mayoría de los usuarios nunca pensaría en preguntarse: ¿sabe la IA cuán segura está antes de actuar? Ahora mismo, la mayoría de los sistemas no lo comprueban. El modelo toma una decisión y la acción se ejecuta, independientemente de si la IA estaba 95 por ciento segura o apenas adivinando.

Cuantificación de incertidumbre, o UQ, es el término técnico para medir ese nivel de confianza. Piénsalo como una lista de verificación de un cirujano: antes de cortar, confirmas que tienes el paciente correcto, el procedimiento correcto, el sitio correcto. La idea aquí es darle a los agentes IA una pausa similar, un momento integrado en el que el sistema se pregunta si realmente está lo suficientemente seguro para proceder.

Esto es más importante para las acciones irreversibles. Eliminar un archivo, enviar un pago, cancelar una suscripción: estos son los movimientos donde una decisión equivocada es costosa o imposible de deshacer. Un agente IA seguro pero equivocado es un problema mucho mayor que uno vacilante que pide confirmación.

Apple ML Research argumenta que los métodos de UQ deberían integrarse en el proceso de llamada de funciones en sí, no agregarse posteriormente.

¿Deberían estar preocupados los usuarios ordinarios ahora?

No inmediatamente, pero deberías prestar atención a qué tareas delegas a agentes IA. El riesgo crece a medida que las herramientas IA obtienen más acceso a tus cuentas, archivos y servicios. Algunos puntos prácticos a tener en cuenta:

• Si una aplicación ofrece automatización IA para acciones financieras, verifica si te pide que confirmes antes de completar una transacción.
• Ten cuidado al otorgar a herramientas IA permisos amplios. El acceso limitado, restringido a la única tarea que necesitas, reduce el alcance de cualquier error.
• Si un asistente IA actúa de una manera que te sorprenda, repórtalo a través del canal de comentarios de la aplicación. Estos reportes realmente ayudan a los investigadores a encontrar casos de fallo.

Los investigadores no dicen que los agentes IA sean demasiado peligrosos para usar. Dicen que las herramientas necesitan una comprobación de confianza antes de actuar. Eso es algo razonable de pedir.