Этот AI-маршрутизатор снижает затраты в 2,6 раза, учась на собственных ошибках

Ключевые моменты

• ACRouter завершила полный тестовый прогон за $13,21 в сравнении с $34,02 при постоянном использовании топовой модели Claude Opus от Anthropic — экономия около 60 процентов.
• Система использует трёхэтапный цикл обратной связи Context-Action-Feedback (C-A-F) для записи успехов или неудач каждой AI-модели на конкретной задаче, а затем использует эту память для принятия более правильных решений в следующий раз.
• Ни одна AI-модель не побеждает во всех категориях: Qwen3-Max превзошла Claude Opus на 111 процентов при генерировании тестов, несмотря на то что Opus стоит примерно в 12 раз дороже более компактных альтернатив.
• Компонент принятия решений ACRouter работает на небольшой модели менее чем с одним миллиардом параметров, что позволяет компаниям размещать её на собственном оборудовании без аренды дорогостоящих облачных серверов.

Каждый раз, когда компания использует AI в масштабе, она сталкивается с одной проблемой: какая AI-модель должна обработать этот запрос? Если использовать дешёвую и быструю модель, рискуете получить низкое качество. Если везде применять премиум-модель, счета вырастут очень быстро.

Маршрутизация моделей — это практика автоматической отправки каждой задачи наиболее подходящей AI-модели. Представьте себе умного оператора коммутатора, который читает каждый входящий вызов и соединяет его с наиболее компетентным специалистом. Проблема в том, что нынешние системы маршрутизации статичны. Они усваивают набор правил во время обучения и затем применяют эти правила вечно, даже когда AI-модели совершенствуются и бизнес-потребности меняются.

Новый исследовательский проект, о котором сообщает VentureBeat, предлагает иной подход. Фреймворк, называемый Agent-as-a-Router, рассматривает сам маршрутизатор как обучаемую систему, AI-агента, то есть программное обеспечение, которое может выполнять многошаговые задачи самостоятельно и становиться умнее с каждой обработанной работой.

Как она на самом деле учится?

Система учится, наблюдая, что происходит после принятия решения. Когда поступает задача, маршрутизатор проверяет память на предмет подобных прошлых работ и вспоминает, какие модели их хорошо обрабатывали. Он выбирает модель, отправляет задачу и ждёт результата. Если выбранная модель выдала неработающий код или неправильный ответ, маршрутизатор записывает эту ошибку. В следующий раз, когда придёт похожая задача, он знает, что нужно попробовать что-то другое.

Исследователи создали конкретный продукт на основе этой идеи — ACRouter. Он состоит из трёх взаимодействующих компонентов. Банк памяти хранит записи прошлых успехов и неудач. Оркестратор, небольшая AI-модель менее чем с одним миллиардом параметров, читает память и выбирает лучшую модель для новой задачи. Верификатор проверяет, действительно ли результат работает, запуская код или выполняя запрос к базе данных и посмотрев, вернула ли она правильный результат.

Это важно, потому что старые системы маршрутизации никогда не проверяют результат. Они строят догадки на основе слов в запросе и никогда не узнают, угадали ли они правильно.

Для тестирования ACRouter исследователи создали сравнительный анализ примерно из 10 000 задач кодирования, распределённых по восьми ведущим AI-моделям. ACRouter завершила полный прогон за $13,21. Использование Claude Opus 4.6 для каждой задачи обошлось в $34,02. Производительность была сравнимой во всех отношениях, а при некоторых специализированных задачах более дешёвый подход маршрутизации дал даже лучшие результаты.

Здесь есть честные ограничения. ACRouter работает лучше всего, когда правильность и неправильность измеримы, например при запуске кода и проверке, компилируется ли он. Это менее полезно для открытого творческого письма или субъективных задач, где нет чёткого сигнала успеха/неудачи. И как любой результат сравнительного анализа, реальная экономия будет различаться. Цифра 2,6x экономии затрат получена из одного контролируемого теста, а не из рабочей среды.

Вывод: Если ваша компания уже использует AI для кодирования, запросов к данным или других задач с чёткими критериями успеха, стоит обратить внимание на репозиторий ACRouter на Hugging Face. Оркестратор достаточно компактен для размещения на собственных серверах, и потенциальная экономия реальна, даже если ваши результаты будут отличаться от цифр сравнительного анализа.