Чотири стартапи ставлять на те, що наступна хвиля штучного інтелекту працюватиме на чомусь кращому за трансформери
Архітектура нейронної мережі, що живлює кожен основний чатбот, наштовхується на реальні обмеження. Невеликій групі компаній вдалося знайти вихід.
Ключові моменти
- Дослідники Google винайшли нейронну мережу трансформер у 2017 році, і тепер вона лежить в основі кожного основного чатбота штучного інтелекту на ринку.
- OpenAI готується витратити 50 мільярдів доларів на обчислювальні ресурси у 2025 році, головним чином тому, що трансформери дорогі в експлуатації в масштабі.
- Міжнародне агентство з енергетики прогнозує, що споживання електроенергії центрами обробки даних подвоїться до 2030 року.
- Щонайменше чотири стартапи розробляють альтернативні архітектури штучного інтелекту, які, за їхніми словами, швидші, дешевші та краще підходять для складних завдань.
- Одна з цих компаній, Liquid AI, зареєструвала майже 34 мільйони завантажень моделей, які працюють на комп'ютері для любителів вартістю 50 доларів.
Влітку 2017 року команда Google опублікувала статтю під назвою "Attention Is All You Need". У ній описувалася нова тип нейронної мережі (думайте про нейронну мережу як про програмне забезпечення, приблизно змодельоване за тим, як з'єднуються клітини мозку) під назвою трансформер. Трансформери виявилися надзвичайно добрими у читанні та генеруванні тексту, і вони стали двигуном всередині кожного чатбота штучного інтелекту, про який ви чули, від ChatGPT до Claude до Gemini.
Через сім років трансформери стогнають під тягаром власного успіху.
Яка насправді проблема?
Щоб зрозуміти значення речення, трансформер порівнює кожне слово з кожним іншим словом. Це чудово працює для короткого тексту. Для довгих документів це швидко стає дорогим: документ на 10 000 слів може потребувати 50 мільйонів окремих розрахунків. Чим більше тексту ви вводите, тим гірше стає.
Цей обчислювальний голод має реальну вартість. За словами президента компанії Greg Brockman, OpenAI планує витратити 50 мільярдів доларів на обчислювальні ресурси цього року. Міжнародне агентство з енергетики говорить, що загальна електроенергія, що споживається центрами обробки даних, подвоїться до 2030 року.
Трансформери також мають проблеми з завданнями, які компанії штучного інтелекту зараз продають. Моделі міркування, які записують нотатки собі під час вирішення проблеми, створюють великі обсяги додаткового тексту, який потім повинен обробити трансформер. Агенти штучного інтелекту — програмне забезпечення, яке може виконувати багатоступеневі завдання самостійно, — повинні жонглювати інформацією з багатьох джерел одночасно. Обидва підштовхують трансформери до їхньої межі.
Які альтернативи?
Чотири компанії атакують проблему з різних кутів.
Subquadratic, стартап з Майамі, каже, що побудував модель під назвою SubQ, яка використовує "розріджену увагу". Замість порівняння кожного слова з кожним іншим словом розріджена увага вибирає лише пари, які мають значення, драматично зменшуючи кількість обчислень. Компанія стверджує, що SubQ конкурує з основними великими мовними моделями в задачах пошуку та кодування, хоча деякі дослідники залишаються скептичними. За повідомленнями, тисячі користувачів чекають у списку очікування.
Manifest AI, базована в Сан-Франциско, йде далі і замінює механізм уваги взагалі. Його підхід, названий "power retention", надає моделі рухомий підсумок прочитаного до цих пір, відкидаючи інформацію, яка більше не актуальна при надходженні нового матеріалу. Подумайте про це як про читача, який ведеть хороші нотатки, а не запам'ятовує кожне слово. Компанія використала цю методику для побудови PowerCoder, на основі існуючої моделі кодування з відкритим кодом, та Brumby, яка, за її словами, конкурує з деякими версіями популярної моделі Qwen від Alibaba з відкритим кодом.
Liquid AI, відділення MIT, розташоване в Кембриджі, штат Массачусетс, використовує гібридний підхід. Його моделі, названі LFMs (рідкі фундаментальні моделі), поєднують трансформери з іншою технологією, chiamaною рідкими нейронними мережами, натхненою простими нервовими системами червів. Результат: моделі достатньо малі, щоб працювати на Raspberry Pi, комп'ютері для любителів вартістю 50 доларів, але компанія стверджує, що вони відповідають продуктивності суперників у чотири рази більшого розміру. Liquid AI зареєструвала майже 34 мільйони завантажень. Mercedes входить до числа її клієнтів.
| Компанія | Підхід | Помітна заява |
|---|---|---|
| Subquadratic | Розріджена увага (SubQ) | Конкурує з топовими LLM у пошуку та кодуванні |
| Manifest AI | Power retention (Brumby, PowerCoder) | Конкурує з варіантами Alibaba Qwen |
| Liquid AI | Гібридні LFM | Працює на комп'ютері за 50 доларів; 34 мільйони завантажень |
Що це означає для звичайних людей?
Завтра у вашому чатботі нічого не змінюється. Трансформери глибоко вбудовані в продукти, а їх заміна займає роки. Але напрямок має значення.
Якщо ці альтернативні підходи працюють у масштабі, послуги штучного інтелекту можуть стати дешевшими в експлуатації, що, ймовірно, означало б нижчі витрати для бізнесу і, врешті-решт, користувачів. Менші, ефективніші моделі також можуть працювати на пристроях, які у вас уже є, зберігаючи ваші дані на телефоні, а не на віддаленому сервері.
MIT Technology Review, який вперше вивів на поверхню декілька з цих компаній, називає це наступне покоління моделей "LLM+". Те, чи будуть якісь із сьогоднішніх стартапів тими, хто побудує його, залишається відкритим питанням. Але проблема, яку вони намагаються вирішити, дуже реальна.
Поширені запитання
Чи потрібно мені щось робити по-іншому як користувачу штучного інтелекту прямо зараз?
Ні. Ці зміни відбуваються на рівні інженерії, всередині компаній, які розробляють інструменти штучного інтелекту. Поки що продукти, які ви використовуєте, виглядають однаково ззовні.
Ці альтернативи обов'язково замінять трансформери?
Не обов'язково. Трансформери вже пережили передбачення їх заміни раніше. Кожен з цих стартапів все ще повинен доказати, що його підхід масштабується до розміру моделей, які живлять основні продукти, що є значною технічною та фінансовою проблемою.
