Четыре стартапа ставят на новое поколение ИИ, которое будет лучше трансформеров
Архитектура нейросети, питающая каждый крупный чатбот, достигла реальных пределов. Небольшая группа компаний считает, что нашла способ их преодолеть.
Ключевые моменты
- Исследователи Google изобрели нейросеть-трансформер в 2017 году, и теперь она лежит в основе каждого крупного ИИ-чатбота на рынке.
- OpenAI планирует потратить 50 миллиардов долларов на вычисления в 2025 году, в основном потому что трансформеры дороги в эксплуатации при масштабировании.
- Международное агентство по энергетике прогнозирует, что потребление электроэнергии центрами обработки данных удвоится к 2030 году.
- По крайней мере четыре стартапа разрабатывают альтернативные архитектуры ИИ, которые, по их словам, работают быстрее, дешевле и лучше подходят для сложных задач.
- Одна из этих компаний, Liquid AI, зафиксировала почти 34 миллиона загрузок моделей, которые работают на персональном компьютере стоимостью 50 долларов.
Летом 2017 года команда Google опубликовала работу под названием "Attention Is All You Need". В ней описывался новый тип нейросети (можно представить нейросеть как программное обеспечение, слабо моделирующее способ соединения клеток мозга) — трансформер. Трансформеры оказались чрезвычайно хороши в чтении и генерации текста и стали основой каждого известного вам ИИ-чатбота, от ChatGPT до Claude и Gemini.
Спустя семь лет трансформеры начинают испытывать трудности из-за собственного успеха.
В чём состоит реальная проблема?
Чтобы понять смысл предложения, трансформер сравнивает каждое слово со всеми остальными словами. Это блестяще работает для короткого текста. Для больших документов становится дорого: документ в 10 000 слов может потребовать 50 миллионов отдельных вычислений. Чем больше текста вы подаёте, тем хуже становится.
Этот вычислительный голод имеет реальную стоимость. OpenAI планирует потратить 50 миллиардов долларов на вычисления в этом году, согласно президенту компании Грегу Брокмену. Международное агентство по энергетике говорит, что общее потребление электроэнергии центрами обработки данных удвоится к 2030 году.
Трансформеры также испытывают трудности с теми задачами, которые сейчас продают ИИ-компании. Модели рассуждений, которые делают заметки для себя во время решения задачи, производят большое количество дополнительного текста, который трансформер должен обработать. ИИ-агенты — программное обеспечение, способное самостоятельно выполнять многоэтапные задачи — должны жонглировать информацией из множества источников одновременно. Оба случая подталкивают трансформеры к пределу их возможностей.
Какие есть альтернативы?
Четыре компании атакуют проблему с разных углов.
Subquadratic, майамский стартап, заявляет, что создал модель SubQ, которая использует "разреженное внимание". Вместо сравнения каждого слова со всеми остальными словами разреженное внимание выбирает только те парные сочетания, которые имеют значение, драматически сокращая количество вычислений. Компания утверждает, что SubQ соответствует основным большим языковым моделям в задачах поиска и написания кода, хотя некоторые исследователи остаются скептичны. Тысячи пользователей якобы находятся в листе ожидания.
Manifest AI, базирующаяся в Сан-Франциско, идёт ещё дальше и полностью заменяет механизм внимания. Их подход, называемый "power retention", предоставляет модели скользящую сводку прочитанного до сих пор, отбрасывая информацию, которая больше не актуальна по мере поступления нового материала. Представьте себе читателя, который ведёт хорошие заметки, вместо того чтобы запоминать каждое слово. Компания использовала эту технику для создания PowerCoder, основанного на существующей открытой модели кодирования, и Brumby, который, по её словам, конкурирует с некоторыми версиями популярной открытой модели Qwen компании Alibaba.
Liquid AI, спин-аут MIT, базирующийся в Кембридже, штат Массачусетс, использует гибридный подход. Его модели, называемые LFM (liquid foundation models), смешивают трансформеры с другой технологией — жидкими нейросетями, вдохновлёнными простыми нервными системами червей. В результате получаются модели, достаточно компактные для запуска на Raspberry Pi, персональном компьютере стоимостью 50 долларов, но, по словам компании, они соответствуют производительности конкурентов, в четыре раза превышающих их по размеру. Liquid AI зарегистрировала почти 34 миллиона загрузок. Mercedes входит в число её клиентов.
| Компания | Подход | Заметное утверждение |
|---|---|---|
| Subquadratic | Разреженное внимание (SubQ) | Соответствует лучшим LLM в поиске и кодировании |
| Manifest AI | Power retention (Brumby, PowerCoder) | Конкурирует с вариантами Alibaba Qwen |
| Liquid AI | Гибридные LFM | Запускается на компьютере стоимостью 50 долларов; 34 миллиона загрузок |
Что это означает для обычных людей?
В вашем чатботе завтра ничего не изменится. Трансформеры глубоко встроены в продукты, и их замена занимает годы. Но направление имеет значение.
Если эти альтернативные подходы сработают в масштабе, услуги ИИ могли бы дешеветь в эксплуатации, что, вероятно, означало бы более низкие затраты для бизнеса и, в конечном итоге, пользователей. Более компактные и эффективные модели также могли бы работать на устройствах, которые вы уже используете, сохраняя ваши данные на телефоне, а не на удалённом сервере.
MIT Technology Review, который впервые выявил несколько из этих компаний, называет это следующее поколение моделей "LLM+". Является ли какой-либо из сегодняшних стартапов тем, кто создаст его, остаётся открытым вопросом. Но проблема, которую они пытаются решить, очень реальна.
Часто задаваемые вопросы
Нужно ли мне что-то менять в качестве пользователя ИИ прямо сейчас?
Нет. Эти изменения происходят на уровне инженерии, внутри компаний, разрабатывающих инструменты ИИ. Пока что продукты, которые вы используете, выглядят одинаково снаружи.
Обязательно ли эти альтернативы заменят трансформеры?
Не обязательно. Трансформеры уже пережили предсказания о своей замене ранее. Каждому из этих стартапов всё ещё предстоит доказать, что его подход масштабируется до размера моделей, питающих основные продукты, что представляет собой серьёзный технический и финансовый вызов.
