Se confía a los agentes de IA con más decisiones de las que las empresas pueden verificar realmente

Puntos clave

• Una encuesta de junio de 2026 entre 157 equipos empresariales encontró que la mitad había implementado un agente o característica de IA que pasó pruebas internas y luego causó un fallo visible para el cliente.
• Una de cada cuatro de esas empresas había experimentado ese tipo de fallo más de una vez.
• El 66% de las empresas encuestadas ya permite alguna implementación de IA sin revisión humana, o planea hacerlo en los próximos 12 meses.
• Solo el 5% de los encuestados dijo confiar plenamente en los sistemas de pruebas automatizadas que deciden si una IA está lista para implementarse.
• Las empresas más grandes, aquellas con 2.500 o más empleados, se están moviendo más rápidamente hacia una supervisión cero y también reportan más fallos con clientes que las empresas más pequeñas.

Imagina un inspector de calidad que admite, en voz baja, que la lista de verificación es en gran medida incorrecta. Esa es aproximadamente la situación que describe una encuesta publicada por VentureBeat en una amplia sección de equipos de IA corporativos en la actualidad.

La encuesta VB Pulse de junio de 2026 cubrió a 157 personas en empresas con 100 o más empleados, preguntando cómo prueban e implementan agentes de IA: programas de software que pueden realizar tareas de múltiples pasos por sí solos, manejando un reembolso de cliente o enviando un mensaje sin que un humano presione enviar. Fue de autoselectión en lugar de muestreo aleatorio, así que trata los números como una señal, no como un censo.

La señal no es reconfortante. La mitad de las empresas ya había implementado un agente que pasó todas las pruebas internas y aún así perjudicó a un cliente real. Una cuarta parte lo había hecho más de una vez.

¿Por qué una prueba aprobada no garantiza un agente funcional?

Las pruebas de software tradicionales verifican si una entrada fija produce una salida esperada. Los agentes no funcionan de esa manera. Un agente elige su propia secuencia de pasos, llama herramientas externas, extrae datos en vivo y puede comportarse de manera diferente en cada ejecución, incluso en la misma tarea.

Puede redactar un reembolso válido y enviarlo antes de que llegue la aprobación. Puede completar cinco pasos correctamente e filtrar información sensible en el sexto. Cada decisión individual se ve bien; el resultado no.

Los encuestados entienden la brecha. La razón más común para desconfiar de las pruebas automatizadas, citada por el 29%, fue que las puntuaciones de las pruebas no se alinean con lo que realmente sucede en producción. El sesgo o la inconsistencia fue lo siguiente con el 21%, la falta de explicabilidad con el 18% y las preocupaciones de privacidad con el 17%.

Hemos seguido este tema de cerca: nuestro artículo del 14 de julio "Las empresas implementaron agentes de IA sin redes de seguridad. Ahora están pagando para retrofitear." encontró hallazgos similares en una encuesta separada de 573 líderes técnicos, con dos tercios de las empresas ya corriendo hacia una supervisión cero.

El Instituto Nacional de Estándares y Tecnología de EE.UU. hizo un punto relacionado en su orientación del Perfil de IA Generativa: el comportamiento medido en un entorno controlado a menudo no se mantiene una vez que entran usuarios reales y datos en vivo. Las pruebas de campo y el monitoreo continuo después del lanzamiento, no solo una puntuación previa a la implementación, son lo que su orientación solicita.

¿Deberías preocuparte por las empresas que se mueven más rápido?

Sí, particularmente las más grandes. Las empresas con 2.500 o más empleados se están moviendo hacia implementación sin humanos en un 70%, en comparación con el 64% de las empresas más pequeñas, y también reportan tasas de fallo con clientes más altas: 54% frente a 48%. La velocidad y la escala no parecen estar ayudando.

Y sin embargo, la autonomía sigue expandiéndose. Dos tercios de todas las empresas encuestadas ya están ejecutando, o construyendo hacia, implementaciones sin ningún revisor humano. Solo el 5% confía plenamente en las verificaciones automatizadas que reemplazarían a ese revisor. La autonomía creciente sobre garantía tambaleante es el problema central aquí.

La orientación de Anthropic sobre evaluación de agentes traza una línea útil: un sistema que tiene éxito una vez no es lo mismo que uno que tiene éxito de manera confiable. Para cualquier cosa que toque clientes, dinero o datos, la confiabilidad es el único estándar que importa.

En la práctica, eso significa ejecutar cada escenario varias veces, variando la redacción y el contexto, simulando fallos de herramientas y convirtiendo cada incidente real en un caso de prueba permanente. La supervisión cero debe ganarse demostrando consistencia, y luego limitarse estrictamente por las consecuencias del fallo. Redactar un resumen interno no es el mismo riesgo que aprobar una transacción financiera, y las empresas que los tratan igual se están buscando problemas.

Eliminar a un humano de un proceso no elimina el riesgo. Solo elimina a la persona que podría haberlo detectado.