Цей AI-маршрутизатор зменшує витрати в 2.6 разу, навчаючись на власних помилках
Нова система з відкритим кодом ACRouter спостерігає, який AI-модель успішно або невдало впоратися з кожним завданням, запам'ятовує здобуті знання та розумніше маршрутизує наступну роботу. У тестах вона досягла продуктивності преміум-систем менш ніж за половину ціни.
Ключові моменти
- ACRouter виконала повний запуск тестового завдання за $13.21 порівняно з $34.02 при постійному використанні топ-моделі Claude Opus від Anthropic — економія близько 60 відсотків.
- Система використовує трибічний цикл зворотного зв'язку під назвою Context-Action-Feedback (C-A-F) для запису того, яка AI-модель справилася успішно чи невдало з певним завданням, а потім застосовує цю пам'ять для кращих рішень у майбутньому.
- Жоден окремий AI-модель не перемагає у кожній категорії: Qwen3-Max перевершив Claude Opus на 111 відсотків під час тестування, хоча Opus коштує приблизно в 12 разів дорожче, ніж менші альтернативи.
- Компонент прийняття рішень ACRouter запускається на малій моделі з менш ніж мільярдом параметрів, що дозволяє компаніям розміщувати її на власному обладнанні без оренди дорогих хмарних серверів.
Щоразу, коли бізнес використовує AI в масштабі, він стикається з одним питанням: яка AI-модель повинна обробляти цей запит? Використовуйте дешеву, швидку модель — ризикуєте поганими результатами. Використовуйте преміум-модель для всього — рахунок зростатиме болючо швидко.
Маршрутизація моделей — це практика автоматичного надсилання кожного завдання найбільш відповідній AI-моделі. Думайте про це як про розумного оператора комутатора, який читає кожний вхідний дзвінок і пересилає його найкваліфікованішому агенту. Проблема в тому, що сучасні системи маршрутизації застигли в часі. Вони вивчають набір правил під час навчання, а потім застосовують ці правила назавжди, навіть коли AI-моделі покращуються та бізнес-потреби змінюються.
Новий дослідницький проект, про який повідомляє VentureBeat, пропонує іншу парадигму. Структура, названа Agent-as-a-Router, розглядає сам маршрутизатор як навчальну систему, AI-агента, тобто програмне забезпечення, яке може виконувати багатокрокові завдання самостійно й стає розумнішим з кожним оброблюваним завданням.
Як він насправді навчається?
Система навчається, спостерігаючи, що відбувається після того, як вона приймає рішення. Коли приходить завдання, маршрутизатор перевіряє свою пам'ять на наявність подібних минулих робіт і згадує, які моделі з ними добре впорались. Він обирає модель, надсилає завдання і чекає результату. Якщо обрана модель видає помилковий код або неправильну відповідь, маршрутизатор записує цю невдачу. Наступного разу, коли приходить подібне завдання, він знає, що спробувати щось інше.
Дослідники створили конкретний продукт на основі цієї ідеї під назвою ACRouter. Він складається з трьох частин, які працюють разом. Банк пам'яті зберігає записи про минулі успіхи та невдачі. Оркестратор, невелика AI-модель з менш ніж мільярдом параметрів, читає пам'ять і обирає найкращу модель для нового завдання. Верифікатор перевіряє, чи дійсно спрацював результат, запускаючи код або запитуючи базу даних і перевіряючи, чи повернула вона правильний результат.
Це важливо, оскільки старші системи маршрутизації ніколи не перевіряють результат. Вони вгадують на основі слів у запиті й ніколи не дізнаються, чи вгадали правильно.
Щоб протестувати ACRouter, дослідники побудували тестовий набір з приблизно 10,000 завдань з кодування, розподілених серед восьми провідних AI-моделей. ACRouter завершила повний запуск за $13.21. Використання Claude Opus 4.6 для кожного завдання коштувало $34.02. Продуктивність була порівняльна в цілому, а на деяких спеціалізованих завданнях дешевший підхід маршрутизації навіть дав кращі результати.
Тут варто розуміти об'єктивні обмеження. ACRouter працює найкраще, коли правильне і неправильне можна виміряти, наприклад запуск коду та перевірка компіляції. Він менш корисний для відкритого творчого письма або суб'єктивних завдань, де не існує чіткого сигналу успіху/невдачі. І, як і будь-який результат тестування, реальна економія буде різною. Показник 2.6x економії витрат походить з одного контрольованого тесту, а не з живого виробничого середовища.
Висновок: Якщо ваш бізнес уже використовує AI для кодування, запитів до даних чи інших завдань з чіткими критеріями успіху, варто переглянути репозиторій ACRouter на Hugging Face. Оркестратор достатньо малий для самостійного розміщення, а потенційна економія реальна, навіть якщо ваші результати будуть відрізнятися від цифр тестування.
