Маршрутизація AI здалася легким способом заощадити. Насправді це коштувало вдвічі більше.

Ключові моменти

• На 417 завданнях Claude Sonnet 4.5 коштував $79 в цілому ($0,19 за завдання), тоді як GPT-4.1 коштував $155 ($0,37 за завдання), незважаючи на те, що GPT-4.1 має нижчу декларовану ціну.
• Різниця полягала в кешуванні: Sonnet дешевше переважав збережений контекст, повністю нівелюючи цінову перевагу GPT-4.1.
• Маршрутизація AI-запитів, практика автоматичного спрямування завдань до найбільш придатної AI-моделі, — це системна проблема, а не проста задача сортування.
• Легкий оптимізаційний маршрутизатор досяг точності 84% з витратами $93 за запуск, скоротивши витрати на 21% і латентність на 9% порівняно з використанням однієї лише топової моделі.

Ідея звучить розумно. У вас є кілька AI-моделей, кожна з різними цінами та сильними сторонами. Тож ви будуєте маршрутизатор — програмне забезпечення, яке автоматично спрямовує кожне вхідне завдання до найбільш придатної моделі. Прості завдання йдуть до дешевших моделей. Складні — до дорогих, потужних. Витрати скорочуються. Якість утримується. Завдання виконано.

Така теорія. Команда з Hugging Face на практиці побудувала один із таких маршрутизаторів, і цифри розповідали зовсім іншу історію.

Вони запустили 417 однакових завдань через дві моделі: Claude Sonnet і GPT-4.1. GPT-4.1 має нижчу декларовану ціну за оброблене слово. Мав би бути дешевшим. Коштував $155. Sonnet коштував $79, менше половини.

Винуватцем було кешування. Коли AI обробляє довге завдання, він може зберегти частини цієї роботи та повторно їх використати на наступних етапах, так само як браузер зберігає вебсторінку, щоб вона завантажувалась швидше наступного разу. Sonnet стягує менше за читання зі збереженого сховища. Оскільки завдання включали багато повторюваного контексту, кешування Sonnet повністю нівелювало нижчу базову ставку GPT-4.1.

Прайс-лист розповідав одну історію. Реальний рахунок розповідав іншу.

Чи це має значення, якщо ви просто використовуєте AI-інструмент, а не будуєте його?

Так, опосередковано. Кожен AI-продукт, який ви використовуєте, від чат-бота обслуговування клієнтів до помічника для написання текстів, майже напевно маршрутизує ваші запити за кулісами. Наскільки добре працює ця маршрутизація, впливає на швидкість, яку ви відчуваєте, якість відповіді, яку ви отримуєте, і врешті-решт на ціну, яку стягує вам компанія.

Окрім вартості, команда знайшла ще два сюрпризи.

По-перше, складність завдання часто невидима спочатку. Запит, який виглядає простим — «підсумуйте цю угоду», — може спровокувати ланцюг кроків: пошук документів, запуск перевірок відповідності, виклик зовнішніх інструментів. Ви рідко знаєте, наскільки складна робота, поки AI вже це робить.

По-друге, латентність, тобто час очікування на відповідь, залежить від набагато більшого, ніж розмір моделі. Те, на якому обладнанні запущена модель, чи її кеш гарячий, і наскільки зайнятий сервер, можуть мати значення більше, ніж сама модель. Додавання маршрутизатора також додає власну затримку, особливо якщо маршрутизатор приймає свіжо рішення на кожному кроці завдання.

Рішення команди було припинити запитання «яка модель найкраща?» і почати запитувати «яка комбінація вартості, швидкості та точності працює найкраще прямо зараз?» Їхній маршрутизатор виконує цю оптимізацію приблизно за 6 мілісекунд і використовує близько 2 кілобайтів пам'яті, достатньо мало, щоб не стати вузьким місцем.

Чесна висновок: якщо ви платите за AI-інструмент і він здається непостійно повільним або дивовижно дорогим, рівень маршрутизації варто уточнити. І якщо ви вбудовуєте AI-функції у свій власний продукт, ставайтеся до порівняння вартості як до живого експерименту, а не як до одноразової вправи у електронних таблицях. Ціна на карточці моделі рідко це ціна, яку ви насправді сплатите.