Reduce tu factura de IA en un 40% sin tocar el modelo: así lo hizo una empresa

Puntos clave

• El equipo de investigación de Writer redujo el costo promedio por tarea de IA en un 41%, de 21 centavos a 12 centavos, rediseñando la capa de orquestación alrededor del modelo en lugar del modelo mismo.
• El consumo de tokens, el volumen de texto procesado en cada tarea, se redujo un 38%, de 14.200 tokens a 8.800 tokens por tarea.
• Las tasas de éxito de las tareas se mantuvieron estables o mejoraron ligeramente, pasando del 78% al 81%, mientras que el tiempo medio de la tarea se redujo un 44%, de 48 segundos a 27 segundos.
• Las ganancias de eficiencia solo se mantuvieron de manera confiable en los dos modelos más capaces probados: Palmyra X6 de Writer y Claude Sonnet 4.6 de Anthropic.
• Los investigadores publicaron sus hallazgos en un documento que cualquier equipo de ingeniería puede aplicar hoy, ya que no requiere cambios en el modelo de IA subyacente.

La IA es cara. Cualquier empresa que ha ido más allá de una pequeña demostración y ha comenzado a ejecutar herramientas de IA a escala real ha sentido eso en el panel de facturación. Un nuevo documento de investigación de Writer, una empresa de software de IA empresarial, ahora cifra por qué los costos se disparan y muestra una solución práctica que no requiere cambiar tu modelo de IA ni reentrenar nada.

En resumen: el problema no es el modelo. Es la infraestructura alrededor de él.

¿Qué exactamente es un "arnés de IA" y por qué debería importarte?

Un arnés de IA, a veces llamado capa de orquestación, es el software que se interpone entre tu aplicación y el modelo de IA en sí. Piénsalo como un director de escena. Decide qué instrucciones enviar al modelo, qué documentos proporcionarle, cómo manejar errores y cuándo invocar herramientas especializadas. La mayoría de los equipos de desarrollo construyen esta capa rápidamente y la tratan como código de pegamento desechable. Los investigadores de Writer argumentan que este es el error más caro en la ingeniería de IA en este momento.

El documento prueba seis modelos de IA diferentes, incluido Claude Sonnet 4.6 de Anthropic, Gemini Flash 3.5 de Google y Palmyra X6 de Writer, en 22 tareas comerciales estandarizadas. Mantuvieron los modelos y las tareas idénticos, luego compararon un arnés estándar con uno cuidadosamente optimizado. Los resultados sorprendieron incluso a los investigadores.

Los costos se redujeron un 41%. El tiempo de finalización de tareas se redujo un 44%. La calidad no se redujo en absoluto.

¿Entonces a dónde iba el despilfarro antes? El culpable tiene un nombre en la industria: "tokenmaxxing". Un token es un pequeño fragmento de texto, aproximadamente tres cuartas partes de una palabra, que un modelo de IA lee y genera. Los proveedores cobran por token. Tokenmaxxing es el hábito de volcar enormes cantidades de texto en cada solicitud de IA, esperando que el modelo lo descubra, en lugar de ingenierizar cuidadosamente la solicitud.

El CTO de Writer, Waseem AlShikh, lo expresó claramente a VentureBeat: "Tu factura es tokens-por-tarea multiplicado por precio-por-token, y la mayoría de los equipos solo observan el segundo número".

Los cortes de precios de los proveedores de IA se sienten como alivio. Pero si tu sistema está quemando tres veces más tokens de lo necesario, tokens más baratos aún significa una factura inflada.

El arnés optimizado soluciona esto con cuatro movimientos: almacenar en caché las partes del prompt que nunca cambian para que no pagues de más por el mismo texto en cada llamada; comprimir el historial de conversación para que el contexto antiguo no se acumule; enviar tareas de búsqueda a sub-agentes especializados más pequeños en lugar de meter documentos crudos en la conversación principal; y eliminar bucles de reintentos sin restricciones que disparan los recuentos de tokens cuando el modelo comete un error.

Una advertencia que vale la pena mencionar. El enfoque de sub-agentes, donde delegas tareas a modelos especializados más pequeños, solo funcionó de manera confiable en los dos modelos más fuertes probados. Los modelos más ligeros como Gemini Flash 3.5 obtuvieron puntuaciones por debajo de un umbral de confiabilidad utilizable en esas tareas de delegación. Si tu equipo funciona con un modelo más pequeño y más barato, algunas de estas ganancias serán más difíciles de capturar.

Pero la lección más amplia se mantiene independientemente de qué modelo uses. Estructura tus prompts para que las partes estáticas vengan primero y las partes dinámicas vengan al final. Ese único cambio hace que el almacenamiento en caché de prompts funcione realmente y te impide pagar dos veces por las mismas instrucciones.

La conclusión honesta: antes de gastar otro dólar en un modelo de IA más potente, audita cuántos tokens está quemando tu sistema actual por tarea. Ese número, no el precio por token, es donde se esconden tus costos reales de IA.