Скоротіть рахунки за AI на 40% без змін моделі: ось як це зробила одна компанія
Нове дослідження компанії Writer, яка спеціалізується на AI-писанні, показує, що переробка програмної обгортки навколо мовної моделі, а не самої моделі, зменшує витрати майже на 40% та скорочує час виконання завдань удвічі.
Ключові моменти
- Дослідницька група Writer скоротила середню вартість завдання AI на 41%, з 21 центу до 12 центів, переробивши рівень оркестрації навколо моделі, а не саму модель.
- Споживання токенів, обсяг тексту, оброблений у кожному завданні, упало на 38%, з 14 200 токенів до 8 800 токенів на завдання.
- Показники успішного виконання завдань залишилися стабільними або трохи поліпшилися, виросши з 78% до 81%, тоді як медіанний час завдання скоротився на 44%, з 48 секунд до 27 секунд.
- Набутки в ефективності надійно утримувалися лише на двох найпотужніших тестованих моделях: власній Palmyra X6 компанії Writer та Claude Sonnet 4.6 від Anthropic.
- Дослідники опублікували свої висновки у статті, яку будь-яка інженерна команда може застосувати прямо сьогодні, оскільки вона не вимагає змін в основній AI-моделі.
AI є дорогим. Будь-яка компанія, яка вийшла за межі невеликої демонстрації та почала запускати AI-інструменти в реальному масштабі, відчула це в своєму рахунку. Нова дослідницька стаття від Writer, компанії, що займається корпоративним AI-програмним забезпеченням, тепер дає точні цифри того, чому витрати зростають, і показує практичне рішення, яке не потребує заміни вашої AI-моделі чи перенавчання чого-небудь.
Коротко кажучи: проблема не в моделі. Це комунікація навколо неї.
Що саме таке «AI шлея» і чому вам це має бути цікаво?
AI шлея, іноді називається рівнем оркестрації, — це програмне забезпечення, яке знаходиться між вашим додатком та самою AI-моделлю. Подумайте про це як про режисера на сцені. Він визначає, які інструкції надіслати моделі, які документи їй надати, як обробляти помилки та коли залучити спеціалізовані інструменти. Більшість команд розроблення будують цей рівень швидко й ставляться до нього як до одноразового код-клею. Дослідники Writer стверджують, що це найдорожча помилка в AI-інженерії прямо зараз.
Стаття тестує шість різних AI-моделей, включаючи Claude Sonnet 4.6 від Anthropic, Gemini Flash 3.5 від Google та власну Palmyra X6 компанії Writer, на 22 стандартизованих бізнес-завданнях. Вони залишили моделі та завдання однаковими, потім порівняли стандартну шлею з тщательно оптимізованою. Результати здивували навіть самих дослідників.
Витрати впали на 41%. Час завершення завдання скоротився на 44%. Якість не впала взагалі.
Тож куди втікав мотлох раніше? Винуватець має назву в галузі: «токенмаксинг». Токен — це невелика порція тексту, приблизно три чверті слова, яку AI-модель читає та генерує. Постачальники беруть плату за токен. Токенмаксинг — це звичка вкидати величезні обсяги тексту в кожен запит до AI, сподіваючись, що модель розберется, замість того щоб ретельно спроектувати запит.
CTO компанії Writer Васім АлШік сказав це прямо для VentureBeat: «Ваш рахунок — це токени-на-завдання, помножені на ціну-за-токен, і більшість команд слідкує лише за другим числом».
Зниження ціни від постачальників AI виглядає як полегшення. Але якщо ваша система спалює в три рази більше токенів, ніж необхідно, дешевші токени все одно означають надутий рахунок.
Оптимізована шлея вирішує це через чотири кроки: кешування частин підказки, які ніколи не змінюються, щоб ви не переплачували за той самий текст на кожному виклику; стиснення історії розмови, щоб старий контекст не накопичувався; надсилання завдань пошуку малим спеціалізованим підагентам замість напхування сирих документів в основну розмову; та усунення неконтрольованих циклів повторів, які вибивають з ладу лічильник токенів, коли модель натикається на помилку.
Один застереження варто зазначити. Підхід із підагентами, коли ви делегуєте завдання меншим спеціалізованим моделям, надійно працював лише на двох найсильніших тестованих моделях. Легші моделі як Gemini Flash 3.5 отримали оцінки нижче придатного для використання порога надійності для цих завдань делегування. Якщо ваша команда працює на меншій, дешевшій моделі, деякі з цих набутків буде складніше отримати.
Але більш широкий урок розповсюджується незалежно від того, яку модель ви використовуєте. Структуруйте свої підказки так, щоб статичні частини йшли першими, а динамічні — останніми. Ця одна змінна робить кешування підказки справді робочим та зупиняє вас від переплати за одні й ті самі інструкції.
Єдиний чесний висновок: перш ніж витратити ще один долар на більш потужну AI-модель, проаудитуйте, скільки токенів спалює ваша поточна система на завдання. Це число, а не ціна за токен, — це те, де приховуються ваші справжні витрати на AI.
