El enrutamiento de IA prometía ahorros fáciles. La realidad costó el doble.

Puntos clave

• En 417 tareas, Claude Sonnet 4.5 costó $79 en total ($0,19 por tarea) mientras que GPT-4.1 costó $155 ($0,37 por tarea), a pesar de que GPT-4.1 tenía precios publicados más bajos.
• La diferencia se debió al almacenamiento en caché: Sonnet reutilizó el contexto guardado más económicamente, eliminando la ventaja de precio de GPT-4.1.
• El enrutamiento de solicitudes de IA, la práctica de dirigir automáticamente tareas al modelo de IA más adecuado, es un problema de sistemas, no un simple problema de clasificación.
• Un enrutador ligero basado en optimización logró una precisión del 84% a $93 por ejecución, reduciendo costos un 21% y la latencia un 9% en comparación con ejecutar un único modelo de primer nivel.

La idea suena sensata. Tienes varios modelos de IA disponibles, cada uno con diferentes precios y fortalezas. Construye un enrutador, un software que dirija automáticamente cada tarea entrante al modelo más adecuado. Las solicitudes fáciles van a modelos más baratos. Las difíciles van a los costosos y potentes. Los costos bajan. La calidad se mantiene.

Esa es la teoría. El equipo de Hugging Face construyó uno de estos enrutadores en la práctica, y los números no cooperaron.

Ejecutaron 417 tareas idénticas a través de dos modelos: Claude Sonnet y GPT-4.1. GPT-4.1 tiene precios publicados más bajos por palabra procesada, así que debería haber ganado fácilmente. Costó $155. Sonnet costó $79, menos de la mitad.

El culpable fue el almacenamiento en caché. Cuando una IA procesa una tarea larga, puede guardar partes de ese trabajo y reutilizarlas en pasos posteriores, de la misma manera que un navegador almacena una página web para que cargue más rápido la próxima vez. Sonnet cobra menos por leer desde ese almacén guardado. Debido a que las tareas involucraban mucho contexto repetido, la ventaja de almacenamiento en caché de Sonnet eliminó completamente la tasa de titular más baja de GPT-4.1. La mayoría de las discusiones sobre enrutamiento, señaló el equipo de Hugging Face, ignoran completamente el almacenamiento en caché.

Primero señalamos este cambio hacia una gestión de costos más inteligente en nuestra historia del 15 de julio sobre el movimiento silencioso alejándose del poder bruto del modelo, y los hallazgos de Hugging Face muestran exactamente por qué importa en la práctica.

¿Importa esto si solo usas una herramienta de IA, no construyes una?

Sí, indirectamente. Cada producto de IA que usas, desde un chatbot de servicio al cliente hasta un asistente de escritura, casi seguramente enruta tus solicitudes detrás de escenas. Qué tan bien funciona ese enrutamiento afecta la velocidad que experimentas, la calidad de la respuesta que obtienes y, en última instancia, el precio que la empresa te cobra.

Más allá del costo, el equipo encontró dos sorpresas más.

Primero, la dificultad de la tarea a menudo es invisible de antemano. Una solicitud que se lee como simple, "resumir este contrato", puede desencadenar una cadena de pasos: buscar documentos, ejecutar verificaciones de cumplimiento, llamar herramientas externas. Raramente sabes qué tan difícil es un trabajo hasta que la IA ya lo está haciendo.

Segundo, la latencia, es decir, cuánto tiempo esperas una respuesta, depende de mucho más que el tamaño del modelo. El hardware en el que se ejecuta el modelo, si su caché está cálido y qué tan ocupado está el servidor puede importar más que el modelo en sí. El enrutamiento también añade su propio retraso, especialmente cuando el enrutador toma una decisión nueva en cada paso.

La solución del equipo fue dejar de preguntarse "¿qué modelo es mejor?" y comenzar a tratar el enrutamiento como una optimización entre costo, calidad y latencia simultáneamente. Su enrutador ejecuta ese cálculo en aproximadamente 6 milisegundos y usa alrededor de 2 kilobytes de memoria, lo suficientemente pequeño para no convertirse en el cuello de botella.

Si estás pagando por una herramienta de IA que se siente inconsistentemente lenta o sorprendentemente cara, la capa de enrutamiento vale la pena preguntar. Construye funciones de IA en tu propio producto y trata el benchmarking de costos como un experimento en vivo, no como un ejercicio de hoja de cálculo único. El precio en la tarjeta del modelo rara vez es el precio que realmente pagarás.