Se está confiando a agentes de IA más decisiones de las que las empresas pueden verificar realmente

Puntos clave

• En una encuesta de junio de 2026 a 157 equipos empresariales, el 50% informó de haber lanzado un agente de IA o una función de IA que pasó las pruebas internas y luego causó un fallo visible para el cliente.
• Una de cada cuatro de esas empresas experimentó este tipo de fallo más de una vez.
• El 66% de las empresas encuestadas ya permite algún despliegue de IA sin revisión humana, o planea hacerlo dentro de 12 meses.
• Solo el 5% de los encuestados dijo confiar plenamente en los sistemas de prueba automatizada que deciden si una IA está lista para lanzarse.
• Las empresas más grandes con 2.500 o más empleados avanzan más rápidamente hacia una supervisión sin intervención humana, y también reportan más fallos de clientes que las empresas más pequeñas.

Imagina un inspector de calidad que admite, en voz baja, que la lista de verificación es mayormente incorrecta. Esa es aproximadamente la situación que describe una encuesta publicada por VentureBeat en un amplio sector de equipos de IA corporativos en este momento.

La encuesta VB Pulse de junio de 2026 preguntó a 157 personas en empresas con 100 o más empleados sobre cómo prueban y lanzan agentes de IA, programas de software que pueden llevar a cabo tareas de múltiples pasos por sí solos, cosas como manejar un reembolso de cliente, actualizar un registro de base de datos, o redactar y enviar un mensaje sin que un humano presione enviar. La muestra fue autoselectiva en lugar de elegida aleatoriamente, por lo que los números deben tratarse como una señal, no como un censo.

La señal es incómoda. La mitad de las empresas encuestadas ya había lanzado un agente que pasó todas las pruebas internas y aun así acabó dañando la experiencia del cliente. Una cuarta parte lo había hecho más de una vez.

¿Por qué una prueba exitosa no garantiza un agente que funcione?

Porque las pruebas de software tradicionales verifican si una entrada fija produce una salida esperada, y los agentes de IA no funcionan así. Un agente elige su propia secuencia de pasos, llama herramientas externas, extrae datos en vivo, y puede comportarse de manera diferente cada vez que se ejecuta, incluso en la misma tarea.

Un agente puede acertar cinco pasos exactamente y luego filtrar información sensible en el sexto. Puede redactar un reembolso válido y enviarlo sin esperar aprobación. Cada decisión individual parece correcta. El resultado final es un problema.

El Instituto Nacional de Estándares y Tecnología de EE.UU. hizo una observación similar en su orientación sobre el Perfil de IA Generativa: el comportamiento medido en un entorno de prueba controlado a menudo no se sostiene una vez que entran en juego usuarios reales, indicaciones impredecibles y datos en vivo. La orientación pide pruebas de campo y monitoreo continuo después del lanzamiento, no solo una puntuación previa al lanzamiento.

Los encuestados parecen entender esto. Cuando se les preguntó por qué desconfían de las pruebas automatizadas, la respuesta más común, dada por el 29%, fue que las puntuaciones de prueba no se alinean con lo que realmente ocurre en el mundo real.

Y sin embargo, la autonomía sigue expandiéndose. Dos tercios de las empresas encuestadas ya están ejecutando, o están construyendo activamente, despliegues sin ningún humano en el bucle. Solo el 5% confía plenamente en las verificaciones automatizadas que estarían haciendo el trabajo que una vez hizo un revisor humano.

Esa brecha, autonomía creciente basada en garantías inestables, es el problema central.

La orientación de Anthropic sobre evaluación de agentes establece una línea útil aquí: un sistema que tiene éxito una vez no es lo mismo que un sistema que tiene éxito de manera confiable. Para cualquier cosa que afecte a clientes, dinero o datos, la confiabilidad es el único estándar que importa.

¿Qué deberían hacer realmente las empresas? Ejecutar cada escenario varias veces. Variar la redacción y el contexto. Simular fallos de herramientas. Cuando ocurre un incidente real en producción, convertirlo en un caso de prueba permanente para que el mismo fallo no pueda repetirse silenciosamente. Y expandir la supervisión sin intervención humana solo donde las consecuencias de un error son genuinamente bajas; redactar un resumen interno no es lo mismo que aprobar una transacción financiera.

Eliminar a un humano de un proceso no elimina el riesgo. Solo elimina a la persona que podría haberlo detectado.