El enrutamiento de IA parecía ahorros fáciles. La realidad costó el doble.

Puntos clave

• En 417 tareas, Claude Sonnet 4.5 costó $79 en total ($0.19 por tarea) mientras que GPT-4.1 costó $155 ($0.37 por tarea), a pesar de que GPT-4.1 tenía precios publicados más bajos.
• La brecha se debió al almacenamiento en caché: Sonnet reutilizó el contexto almacenado más barato, eliminando la ventaja de precio de GPT-4.1.
• El enrutamiento de solicitudes de IA, la práctica de dirigir automáticamente tareas al modelo de IA más adecuado, es un problema de sistemas, no un simple problema de clasificación.
• Un router ligero basado en optimización logró una precisión del 84% a $93 por ejecución, reduciendo costos un 21% y la latencia un 9% en comparación con ejecutar un único modelo de primera categoría.

La idea suena sensata. Tienes varios modelos de IA disponibles, cada uno con diferentes precios y fortalezas. Así que construyes un router, un software que automáticamente dirige cada tarea entrante al modelo más adecuado. Las solicitudes fáciles van a modelos más baratos. Las difíciles van a los caros y poderosos. Los costos bajan. La calidad se mantiene. Trabajo hecho.

Esa es la teoría. El equipo de Hugging Face construyó uno de estos routers en la práctica, y los números contaron una historia diferente.

Ejecutaron 417 tareas idénticas a través de dos modelos: Claude Sonnet y GPT-4.1. GPT-4.1 tiene precios publicados más bajos por palabra procesada. Debería haber sido más barato. Costó $155. Sonnet costó $79, menos de la mitad.

El culpable fue el almacenamiento en caché. Cuando una IA procesa una tarea larga, puede guardar partes de ese trabajo y reutilizarlas en pasos posteriores, de la misma manera que un navegador almacena una página web para que cargue más rápido la próxima vez. Sonnet cobra menos por leer desde ese almacenamiento guardado. Debido a que las tareas implicaban mucho contexto repetido, la ventaja de almacenamiento en caché de Sonnet eliminó completamente la tasa titular más baja de GPT-4.1.

La hoja de precios contó una historia. La factura real contó otra.

¿Importa esto si solo estás usando una herramienta de IA, no construyendo una?

Sí, indirectamente. Cada producto de IA que uses, desde un chatbot de servicio al cliente hasta un asistente de escritura, casi ciertamente enruta tus solicitudes detrás de escenas. Qué tan bien funcione ese enrutamiento afecta la velocidad que experimentas, la calidad de la respuesta que recibes y, en última instancia, el precio que te cobra la empresa.

Más allá del costo, el equipo encontró dos sorpresas más.

Primero, la dificultad de la tarea a menudo es invisible al principio. Una solicitud que se lee como simple, "resume este contrato", puede desencadenar una cadena de pasos: buscar documentos, ejecutar controles de cumplimiento, llamar herramientas externas. Rara vez sabes qué tan difícil es un trabajo hasta que la IA ya lo está haciendo.

Segundo, la latencia, es decir, cuánto esperas una respuesta, depende de mucho más que el tamaño del modelo. En qué hardware se ejecuta el modelo, si su caché está cargado y qué tan ocupado está el servidor puede importar más que el modelo en sí. Agregar un router también añade su propio retraso, especialmente si el router toma una decisión nueva en cada paso de una tarea.

La solución del equipo fue dejar de preguntarse "¿qué modelo es el mejor?" y empezar a preguntarse "¿qué combinación de costo, velocidad y precisión funciona mejor ahora?" Su router ejecuta esa optimización en aproximadamente 6 milisegundos y usa aproximadamente 2 kilobytes de memoria, lo suficientemente pequeño para no convertirse en el cuello de botella.

La conclusión honesta: si estás pagando por una herramienta de IA y se siente inconsistentemente lenta o sorprendentemente cara, la capa de enrutamiento vale la pena preguntar. Y si estás incorporando funciones de IA en tu propio producto, trata el análisis de costos como un experimento continuo, no un ejercicio de hoja de cálculo único. El precio en la tarjeta del modelo rara vez es el precio que realmente pagarás.