AI Routing казался простой экономией. В реальности это стоило в два раза дороже.

Ключевые моменты

• Из 417 задач Claude Sonnet 4.5 стоил $79 в сумме ($0,19 за задачу), а GPT-4.1 стоил $155 ($0,37 за задачу), несмотря на то, что GPT-4.1 имел более низкую опубликованную цену.
• Разница была в кэшировании: Sonnet переиспользовал сохранённый контекст дешевле, нивелируя ценовое преимущество GPT-4.1.
• Маршрутизация запросов ИИ, практика автоматической направки задач на наиболее подходящую модель ИИ, является системной задачей, а не простой задачей сортировки.
• Облегчённый оптимизационный маршрутизатор достиг точности 84% при $93 за запуск, сократив расходы на 21% и задержку на 9% по сравнению с использованием одной мощной топовой модели.

Идея звучит логично. У вас есть несколько доступных моделей ИИ, каждая с разными ценами и возможностями. Вы создаёте маршрутизатор — программное обеспечение, которое автоматически направляет каждую входящую задачу на наиболее подходящую модель. Простые задачи идут на дешёвые модели. Сложные — на дорогие, мощные. Расходы падают. Качество остаётся. Дело в шляпе.

Такова теория. Команда в Hugging Face построила один из этих маршрутизаторов на практике, и цифры рассказали совсем другую историю.

Они пропустили 417 одинаковых задач через две модели: Claude Sonnet и GPT-4.1. GPT-4.1 имеет более низкие опубликованные цены за обработанное слово. Должна была быть дешевле. Она стоила $155. Sonnet стоил $79, менее половины.

Виновником было кэширование. Когда ИИ обрабатывает большую задачу, он может сохранить части этой работы и переиспользовать их на последующих шагах, так же как браузер сохраняет веб-страницу, чтобы она загружалась быстрее в следующий раз. Sonnet берёт меньше за чтение из этого сохранённого хранилища. Поскольку задачи включали много повторяющегося контекста, ценовое преимущество кэширования Sonnet полностью нивелировало более низкий тариф GPT-4.1.

Прайс-лист рассказывал одну историю. Реальный счёт рассказал совсем другую.

Имеет ли это значение, если вы просто используете инструмент ИИ, а не разрабатываете его?

Да, косвенно. Каждый используемый вами продукт ИИ, от чат-бота обслуживания клиентов до помощника по написанию текстов, практически наверняка маршрутизирует ваши запросы за кулисами. То, насколько хорошо работает эта маршрутизация, влияет на скорость, которую вы ощущаете, на качество получаемого ответа и в конечном счёте на цену, которую взимает компания.

Помимо стоимости, команда обнаружила ещё два сюрприза.

Во-первых, сложность задачи часто невидима с самого начала. Запрос, который выглядит как простой, «составьте резюме этого контракта», может запустить цепочку шагов: поиск по документам, проверки соответствия, вызовы внешних инструментов. Вы редко знаете, насколько сложной будет работа, пока ИИ её уже не выполняет.

Во-вторых, задержка, то есть то, как долго вы ждёте ответ, зависит от намного большего, чем размер модели. То, на каком оборудовании работает модель, горячий ли её кэш и насколько перегруженный сервер, может иметь большее значение, чем сама модель. Добавление маршрутизатора также добавляет свою задержку, особенно если маршрутизатор принимает свежее решение на каждом шаге задачи.

Решение команды было прекратить спрашивать «какая модель лучше?» и начать спрашивать «какая комбинация стоимости, скорости и точности работает лучше всего прямо сейчас?» Их маршрутизатор выполняет эту оптимизацию примерно за 6 миллисекунд и использует около 2 килобайтов памяти, достаточно мало, чтобы не стать узким местом.

Честный вывод: если вы платите за инструмент ИИ и он кажется неравномерно медленным или неожиданно дорогим, слой маршрутизации стоит уточнить. И если вы встраиваете возможности ИИ в свой собственный продукт, рассматривайте бенчмарк стоимости как живой эксперимент, а не одноразовое упражнение в электронной таблице. Цена на карточке модели редко совпадает с ценой, которую вы на самом деле заплатите.