Meta Muse Glimmer — это ИИ с 30 миллиардами параметров, который вы можете запустить на своём компьютере

Ключевые моменты

• Meta выпустила Muse Glimmer в день объявления под лицензией Apache 2.0 с открытым исходным кодом — её может свободно использовать и модифицировать кто угодно.
• Модель содержит 30 миллиардов параметров — показатель сложности — что делает её меньше и дешевле в запуске, чем много передовых ИИ-систем.
• Muse Glimmer может обрабатывать текст, изображения и видео в одной модели, а также самостоятельно вызывать внешние инструменты, например сервис погоды.
• Hugging Face обеспечила поддержку модели с первого дня во всех пяти крупных фреймворках разработки.
• Встроенный ускоритель, называемый спекулятивным декодированием, особенно хорошо генерирует структурированный выход, например код.

Meta только что выпустила новую модель ИИ, и главное в ней — где она работает: на вашем собственном компьютере, а не на сервере компании.

Muse Glimmer — это мультимодальная модель с 30 миллиардами параметров, то есть она одновременно обрабатывает текст, изображения и видео, вместо того чтобы требовать отдельные инструменты для каждого. Она получена из более крупной модели Meta под названием Muse — процесс, похожий на создание краткого студенческого издания из обширного учебника. В результате модель достаточно компактна для локального запуска и при этом может справляться со сложными задачами.

Что она вообще может делать?

Muse Glimmer может отвечать на вопросы о фотографиях, анализировать документы, писать и объяснять код, а также действовать как личный помощник, принимающий меры от вашего имени. Если показать ей фотографию города и спросить, что взять с собой, она может узнать место и автоматически запросить данные о погоде, чтобы дать реальный ответ.

Видео тоже поддерживается. Модель обрабатывает видеоклипы с частотой до 96 кадров в клип, выбирая два кадра в секунду, и помечает каждый кадр меткой времени, чтобы понимать, когда происходят события, а не только что показано.

Модель также является так называемой агентивной, то есть может разбить цель на этапы и выполнить их без пошагового указания. Представьте её не как поисковую систему, а как компетентного стажёра, который может читать, искать информацию и действовать.

Почему локальный запуск важен?

Запуск модели на вашем собственном оборудовании означает, что ваши документы, фотографии и переписка никогда не покидают вашу машину. Это важно для тех, кто работает с конфиденциальной информацией: медицинские записки, юридические контракты, приватные хранилища кода.

Это также снижает затраты. Облачные ИИ-сервисы взимают плату за запрос, а локально запущенная модель стоит только электричество для её работы.

Лицензия Apache 2.0 относится к категории разрешительных: компании могут создавать коммерческие продукты на основе Muse Glimmer без уплаты роялти.

Насколько это быстро?

Внутри модели находится опциональный модуль ускорения, называемый спекулятивным декодированием, построенный на системе DFlash. Спекулятивное декодирование — это технология, в которой более быстрая вспомогательная модель предугадывает следующие несколько слов, а основная модель проверяет предположения оптом, сокращая время генерирования каждого ответа. Компромисс — немного больше используемой памяти. Meta говорит, что этот модуль особенно хорошо работает, когда модель пишет структурированный контент, например код.

Как сообщает Hugging Face, все необходимые фреймворки для запуска Muse Glimmer на графических процессорах NVIDIA, AMD и Intel (специализированных чипы, на которых ИИ-модели полагаются для численных расчётов) доступны сегодня, включая популярную библиотеку transformers и llama.cpp — инструмент, разработанный для запуска крупных моделей на обычном потребительском оборудовании.

Что дальше?

Meta позиционирует Muse Glimmer прямо для разработчиков и пользователей, озабоченных приватностью, которые хотят мощный ИИ без подписки или соглашения об обмене данными. Будут ли рабочие нагрузки, требовавшие облачного сервиса, перемещаться на локальные модели, во многом зависит от того, насколько хорошо размер в 30 миллиардов параметров справляется с задачами, которые сегодня требуют намного более крупных систем.

Полная коллекция моделей доступна на Hugging Face.