Muse Glimmer від Meta — це ШІ з 30 мільярдами параметрів, який ви можете запустити на своєму комп'ютері
Нова модель з відкритим кодом розпізнає зображення, розуміє відео і може діяти як персональний асистент, не надсилаючи ваші дані на хмарний сервер.
Ключові моменти
- Meta випустила Muse Glimmer в день цього оголошення під ліцензією Apache 2.0 з відкритим кодом, що означає, що будь-хто може використовувати або змінювати її безплатно.
- Модель має 30 мільярдів параметрів — приблизна міра її складності — що робить її менше і дешевше у запуску, ніж багато передових систем ШІ.
- Muse Glimmer може обробляти текст, зображення та відео в одній моделі і може самостійно викликати зовнішні інструменти, як-от сервіс погоди.
- Hugging Face забезпечила підтримку моделі з першого дня для п'яти основних фреймворків програмного забезпечення.
- Вбудований прискорювач під назвою спекулятивний декодер-драфтер особливо добре генерує структурований результат, як-от код.
Meta щойно випустила нову модель ШІ, і головна новина в тому, де вона запускається: на вашому власному комп'ютері, а не на сервері компанії.
Muse Glimmer — це мультимодальна модель з 30 мільярдами параметрів, що означає обробку тексту, зображень і відео одночасно, замість того щоб потребувати окремих інструментів для кожного. Вона дистильована з більшої моделі Meta під назвою Muse — процес трохи схожий на створення лаконічного студентського видання з розлогого підручника. Результат — компактна модель, яка може запускатися локально, проте все ще обробляє складні завдання.
Що вона насправді робить?
Muse Glimmer може відповідати на запитання про фотографії, аналізувати документи, писати та пояснювати код і діяти як персональний асистент, який виконує дії від вашого імені. Якщо показати їй фотографію міста та запитати, що взяти з собою, вона може розпізнати місцезнаходження та автоматично запитати сервіс погоди, щоб дати вам реальну відповідь.
Відео також підтримується. Модель обробляє відеоклипи до 96 кадрів за клип, вибираючи два кадри за секунду, і позначає кожен кадр його мітною часу, щоб вона розуміла, коли щось відбувається, а не просто що показано.
Модель також є тим, що інженери називають агентною, що означає, що вона може розбити мету на кроки та виконати їх без того, щоб хтось направляв кожен крок вручну. Думайте про це менше як про пошукову систему, а більше як про здатного стажера, який може читати, шукати інформацію та діяти.
Чому запуск її локально має значення?
Запуск моделі на вашому власному обладнанні означає, що ваші документи, фотографії та розмови ніколи не залишають вашу машину. Це важливо для кожного, хто працює з чутливою інформацією: медичні записи, юридичні контракти, приватні сховища коду.
Це також зменшує витрати. Хмарні сервіси ШІ стягують плату за запит; локально запущена модель коштує лише електроенергію для її запуску.
Ліцензія Apache 2.0 — це дозвільний тип: компанії можуть розробляти комерційні продукти на основі Muse Glimmer без сплати роялті.
Наскільки вона швидка?
Всередині моделі знаходиться необов'язковий модуль прискорення під назвою спекулятивний декодер-драфтер, побудований на системі DFlash. Спекулятивне декодування — це техніка, де менша, швидша модель передбачає наступні кілька слів, а основна модель перевіряє передбачення гуртом, скорочуючи час генерування кожної відповіді. Компромісом є дещо більше використання пам'яті. За даними Meta, драфтер працює особливо добре, коли модель пише структурований вміст, як-от код.
За інформацією Hugging Face, фреймворки програмного забезпечення, необхідні для запуску Muse Glimmer на графічних картах NVIDIA, AMD та Intel (спеціалізовані чіпи, на які покладаються моделі ШІ для обчислень), готові сьогодні, включаючи популярну бібліотеку transformers та llama.cpp, інструмент, призначений для запуску великих моделей на звичайному споживацькому обладнанні.
Що далі?
Meta позиціонує Muse Glimmer точно для розробників і користувачів, які цінують приватність і хочуть потужного ШІ без підписки або договору про спільне використання даних. Те, чи будуть робочі навантаження, які раніше вимагали хмарного сервісу, переміщені на локальні моделі, залежить здебільшого від того, наскільки добре розмір 30 мільярдів параметрів витримає завдання, які сьогодні вимагають набагато більших систем.
Повна колекція моделей доступна на Hugging Face.
