Reduce tu factura de IA un 40% sin tocar el modelo: así lo hizo una empresa

Puntos clave

• El equipo de investigación de Writer redujo el costo promedio por tarea de IA en un 41%, de 21 centavos a 12 centavos, rediseñando la capa de orquestación alrededor del modelo en lugar del modelo en sí.
• El consumo de tokens, el volumen de texto procesado en cada tarea, cayó un 38%, de 14.2k a 8.8k tokens por tarea.
• Las tasas de éxito de tareas se mantuvieron estables o mejoraron ligeramente, pasando de 78% a 81%, mientras que el tiempo medio de tarea se redujo en un 44%, de 48 segundos a 27 segundos.
• La orquestación de subagenttes solo funcionó de manera confiable en los dos modelos más capaces probados: Palmyra X6 de Writer y Claude Sonnet 4.6 de Anthropic.
• Los investigadores publicaron sus hallazgos en un artículo que no requiere cambios en el modelo de IA subyacente, por lo que cualquier equipo de ingeniería puede aplicarlo hoy.

Cualquier empresa que haya superado una pequeña demostración y haya comenzado a ejecutar herramientas de IA a escala real ha sentido el dolor en el panel de facturación. Un nuevo artículo de investigación de Writer, una empresa de software de IA empresarial, pone números concretos en por qué los costos se disparan y muestra una solución práctica que no requiere reemplazar tu modelo de IA o reentrenar nada.

El problema no es el modelo. Es la infraestructura alrededor de él.

¿Qué exactamente es un "arnés de IA" y por qué deberías importarte?

Un arnés de IA, a veces llamado capa de orquestación, es el software situado entre tu aplicación y el modelo de IA. Piénsalo como un director de escena: decide qué instrucciones enviar al modelo, qué documentos proporcionarle, cómo manejar errores y cuándo recurrir a herramientas especializadas. La mayoría de los equipos de desarrollo construyen esta capa rápidamente y la tratan como código de pegamento desechable. Los investigadores de Writer argumentan que ese es el error más caro en la ingeniería de IA en este momento.

El artículo prueba seis modelos de IA, incluidos Claude Sonnet 4.6 de Anthropic, Gemini Flash 3.5 de Google y Palmyra X6 de Writer, en 22 tareas comerciales estandarizadas. Los modelos y tareas permanecieron idénticos; solo cambió el arnés, comparando una compilación estándar contra una cuidadosamente optimizada.

Los costos cayeron un 41%. El tiempo de finalización de tareas se redujo un 44%. La calidad no sufrió.

¿Dónde se desperdicia realmente?

El culpable tiene un nombre dentro de la industria: "tokenmaxxing". Un token es un pequeño fragmento de texto, aproximadamente tres cuartos de palabra, que un modelo de IA lee y genera. Los proveedores cobran por token. Tokenmaxxing es el hábito de volcar enormes cantidades de texto en cada solicitud de IA, esperando que el modelo lo resuelva, en lugar de diseñar cuidadosamente la solicitud.

El CTO de Writer, Waseem AlShikh, lo explicó claramente a VentureBeat: "Tu factura es tokens-por-tarea multiplicado por precio-por-token, y la mayoría de los equipos solo miran el segundo número".

Los cortes de precios de proveedores de IA se sienten como alivio. Pero si tu sistema consume tres veces más tokens de lo necesario, tokens más baratos aún significa una factura inflada. Nuestra historia anterior del 17 de julio encontró que las empresas están acumulando silenciosamente facturas de IA enormes que sus directores ejecutivos ni siquiera conocen; este artículo ahora muestra exactamente dónde está la fuga.

El arnés optimizado soluciona esto mediante cuatro movimientos: almacenar en caché las partes de un aviso que nunca cambian, para que no vuelvas a pagar por el mismo texto en cada llamada; comprimir el historial de conversación para que el contexto antiguo no se acumule; enviar tareas de búsqueda a subagenttes especializados más pequeños en lugar de insertar documentos sin procesar en la conversación principal; y eliminar bucles de reintentos sin restricciones que disparan el número de tokens cuando el modelo genera un error.

¿Deberías intentar esto en un modelo más pequeño?

Una advertencia real aquí. El enfoque de subagenttes, delegando tareas a modelos especializados más pequeños, solo funcionó de manera confiable en los dos modelos más fuertes probados. Modelos más ligeros como Gemini Flash 3.5 obtuvieron puntuaciones muy por debajo de un umbral de confiabilidad utilizable en esas tareas de delegación. Si tu equipo funciona con un modelo más pequeño y económico, algunos de estas ganancias serán más difíciles de capturar.

La lección más amplia se mantiene independientemente de qué modelo utilices, aunque. Estructura tus avisos para que las partes estáticas vengan primero y las partes dinámicas vengan después. Ese cambio único hace que el almacenamiento en caché de avisos realmente funcione e impide que pagues dos veces por las mismas instrucciones.

Antes de gastar otro dólar en un modelo de IA más potente, audita cuántos tokens quema tu sistema actual por tarea. Ese número, no el precio por token, es donde se ocultan los costos reales de IA.