Antes de que tu Asistente de IA Realice esa Transferencia, ¿Sabe Cuán Seguro Está?

Puntos clave

• Apple ML Research publicó un estudio sobre cuantificación de incertidumbre (UQ) para llamadas de función de IA, advirtiendo que los agentes de IA excesivamente seguros pueden causar daño irreversible.
• Los modelos de lenguaje grandes se utilizan cada vez más para llevar a cabo tareas del mundo real, como transferencias de dinero o eliminación de archivos en nombre del usuario.
• La investigación sostiene que medir la confianza del propio modelo de IA antes de actuar podría prevenir errores costosos y difíciles de revertir.
• Los sistemas actuales de llamadas de función a menudo ejecutan acciones sin ninguna verificación interna sobre si la IA está realmente segura de que está haciendo lo correcto.

Imagina pedirle a un asistente de voz que pague tu factura de electricidad. Escucha tu instrucción, decide qué cuenta usar y envía el pago. Listo. Excepto que te malinterpretó. El dinero se fue.

Ese es el problema que los investigadores de Apple ML Research se propusieron abordar. Su trabajo se centra en lo que sucede cuando un modelo de lenguaje grande, la tecnología detrás de chatbots como ChatGPT y Claude, recibe la capacidad de llamar funciones, lo que significa que puede comunicarse y realmente hacer cosas en el mundo en lugar de solo responder preguntas en una ventana de chat.

Las llamadas de función ya están en todas partes. Cuando una IA reserva un restaurante o envía un correo electrónico en tu nombre, está utilizando esta capacidad. La conveniencia es real. El riesgo también.

Los investigadores señalan una brecha que la mayoría de los usuarios nunca pensaría en preguntar: ¿la IA sabe cuán segura está antes de actuar? La mayoría de los sistemas no verifican. El modelo toma una decisión y la acción se ejecuta, independientemente de si la IA estaba apenas adivinando o completamente segura.

La cuantificación de incertidumbre, o UQ, es el término técnico para medir ese nivel de confianza. Piénsalo como la lista de verificación de un cirujano: antes de cortar, confirmas que tienes al paciente correcto y el procedimiento correcto. La idea aquí es darle a los agentes de IA una pausa similar, un momento incorporado donde el sistema se pregunta a sí mismo si está realmente lo suficientemente seguro para proceder.

Esto importa más para las acciones irreversibles. Eliminar un archivo, enviar un pago: estos son los movimientos donde una decisión incorrecta es costosa o imposible de deshacer. Un agente de IA seguro pero equivocado es un problema mucho mayor que uno vacilante que pide confirmación.

Apple ML Research sostiene que los métodos de UQ deben integrarse en la propia tubería de llamadas de función, no añadirse después. Esta es la segunda historia sobre llamadas de función que hemos cubierto desde julio, y el marco de prueba de usuario virtual que Apple publicó el 14 de julio apunta en la misma dirección: el laboratorio está trabajando sistemáticamente para detectar errores de IA antes de que los usuarios reales paguen el precio.

¿Deberían preocuparse los usuarios ordinarios ahora?

No inmediatamente, pero debes prestar atención a qué tareas le asignas a los agentes de IA. El riesgo aumenta a medida que las herramientas de IA obtienen acceso más amplio a tus cuentas y servicios.

• Si una aplicación ofrece automatización de IA para acciones financieras, verifica si te pide confirmar antes de completar una transacción.
• Ten cuidado al otorgar permisos amplios a las herramientas de IA. El acceso limitado, restringido a la única tarea que necesitas, reduce el daño que cualquier error puede causar.
• Si un asistente de IA actúa de una manera que te sorprende, reportalo a través del canal de retroalimentación de la aplicación. Estos reportes realmente ayudan a los investigadores a encontrar casos de falla.

Los investigadores no están diciendo que los agentes de IA sean demasiado peligrosos para usar. Están diciendo que las herramientas necesitan una verificación de confianza antes de actuar. Es algo razonable de pedir, y el hecho de que el laboratorio de Apple esté publicando este trabajo sugiere que la industria sabe que aún no ha resuelto el problema.