Tu agente de IA no alucina. Solo hizo algo que nunca debería haber hecho.
Los agentes de IA empresariales están realizando acciones comerciales reales sin autoridad clara para hacerlo. El problema no es un razonamiento deficiente de la IA. Es que las empresas no han definido dónde termina el poder de la IA.
Puntos clave
- Una encuesta de Cloud Security Alliance en abril de 2026 encontró que el 65% de 418 profesionales de TI y seguridad había experimentado un incidente relacionado con agentes de IA en el año anterior.
- La misma encuesta encontró que el 82% de los encuestados había descubierto agentes de IA operando en sus entornos que nadie sabía que estaban allí.
- El Foro Económico Mundial publicó un manual en mayo de 2026 que introduce un "Perfil de Capacidad y Autorización de Agentes" formal para hacer auditable las acciones de los agentes de IA.
- El Marco de Gobernanza de IA Modelo actualizado de Singapur trata los controles de acceso, las protecciones de comportamiento y las aprobaciones humanas como tres controles separados, no uno.
- La solución que recomiendan la mayoría de marcos de gobernanza es un "contrato de autoridad" para cada agente, un registro ejecutado por máquina de exactamente qué puede y qué no puede hacer la IA.
El reembolso fue por la cantidad correcta. Lo que el cliente pidió coincidía exactamente con el cambio de pedido. El proveedor realmente era la opción más económica. Nada de eso importaba, porque la IA no tenía autoridad para actuar sola en ninguno de estos casos.
Este es el problema que se está propagando silenciosamente en empresas que han implementado agentes de IA, software que puede realizar tareas de múltiples pasos dentro de sistemas empresariales reales sin indicaciones humanas en cada paso. El agente no está roto. Nadie le dijo dónde parar.
Por qué los filtros de contenido no resuelven esto
La mayoría de las empresas se enfocaron primero en filtros de seguridad, herramientas que evitan que una IA diga algo perjudicial o filtre datos privados. Esos filtros son importantes, pero responden a una pregunta diferente que la autoridad.
Un filtro pregunta si un resultado es perjudicial. La autoridad pregunta si la IA estaba autorizada para tomar una acción específica en absoluto, incluso cuando esa acción es perfectamente segura y técnicamente correcta. Un agente de IA puede calcular el reembolso correcto, aplicarlo sin error y aún así exceder el límite de dólares que un gerente necesitaría aprobar. Nada se ve mal. El problema solo aparece cuando finanzas nota los números.
Nuestra historia del 8 de agosto sobre interruptores de apagado de IA mostró empresas buscando controles de anulación de emergencia después de exactamente este tipo de comportamiento de agente descontrolado. Los contratos de autoridad son la respuesta aguas arriba al mismo problema.
¿Qué deberían hacer realmente las empresas?
Los marcos de gobernanza del gobierno de Singapur y del Foro Económico Mundial apuntan a la misma estructura: dar a cada agente de producción lo que algunos investigadores llaman un "contrato de autoridad", un registro ejecutado por máquina de qué puede hacer el agente, qué debe remitir a un humano y qué nunca debe tocar independientemente del nivel de confianza.
Cada acción del agente debe resolverse en uno de cuatro resultados:
| Resultado | Lo que significa | Ejemplo |
|---|---|---|
| Permitir | El agente actúa solo | Recuperar un documento aprobado |
| Aprobar | El agente prepara; el humano confirma | Cualquier pago o cambio de producción |
| Recomendar | El agente propone; el humano decide | Decisiones legales o financieras |
| Denegar | El agente no puede actuar, nunca | Eliminar datos críticos |
Hay un punto que se pasa por alto constantemente. Una regla de "Denegar" escrita en una instrucción de texto plano, del tipo de nota que un desarrollador escribe en la configuración del sistema, no es un límite firme. Es una sugerencia que la IA podría no seguir. La aplicación tiene que estar fuera de la IA misma, en una capa de política que evalúa cada acción propuesta en tiempo de ejecución antes de que se ejecute.
¿Deberías preocuparte?
Si eres un cliente, por eso un agente de chat de IA podría procesar un reembolso o cambiar un pedido sin que ningún humano lo revise. La mayoría de las veces eso está bien. Cuando no lo es, el error puede no aparecer rápidamente.
Si trabajas en una empresa que usa agentes de IA, observa las acciones que el sistema realiza y que nadie aprobó explícitamente: un reembolso que excedió un límite normal, un contrato de proveedor que la IA aceptó en lugar de reportar, un cambio de producción que se ejecutó durante la noche sin autorización.
Cualquier herramienta de IA que pueda escribir en sistemas o confirmar compromisos con terceros debe tener un techo documentado sobre qué puede hacer sola. Si nadie en tu organización puede nombrar ese techo, probablemente no se haya establecido. Esa brecha, no una alucinación, es la fuente más probable del próximo error silenciosamente costoso.
El juicio honesto de este tema: las brechas de autoridad son más difíciles de auditar que los resultados deficientes, dejan casi ningún rastro hasta que algo aguas abajo se rompe, y la mayoría de las empresas aún las están tratando como un problema futuro.
Este es el problema que se está propagando silenciosamente en empresas que han implementado agentes de IA, software que puede realizar tareas de múltiples pasos dentro de sistemas empresariales reales sin indicaciones humanas en cada paso. El agente no está roto. Nadie le dijo dónde parar.
