Apple ведет переговоры со стартапом, который втискивает огромный AI в iPhone
PrismML утверждает, что сжала 54-гигабайтную модель ИИ до менее чем 4 гигабайт. Apple внимательно следит за этим.
Ключевые моменты
- PrismML, спинаут Калифорнийского технологического института, поддерживаемый Khosla Ventures, во вторник публично выпустила сжатую модель ИИ, которая умещается на iPhone 15 или новше.
- Стартап заявляет, что сократил модель Qwen компании Alibaba примерно с 54 ГБ до менее 4 ГБ — сжатие более чем в 13 раз.
- Apple ведет предварительные переговоры с PrismML об оценке технологии для использования на своих устройствах, сообщил генеральный директор PrismML Бабак Хасиби каналу CNBC.
- PrismML привлекла раунд финансирования Seed в размере 16,25 млн долларов в марте 2025 года.
- Сжатые модели используют в 10-15 раз меньше памяти и генерируют ответы в 6-8 раз быстрее, чем стандартные версии, по словам компании.
Стартап из Кремниевой долины заявляет, что разработал способ сжать мощную модель ИИ, которая используется в чатботах, подобных ChatGPT, до размера, позволяющего запускать ее полностью на iPhone. И Apple, похоже, заинтересована.
PrismML, компания, выделившаяся из Калифорнийского технологического института, во вторник публично выпустила сжатые версии открытой модели Qwen компании Alibaba. Обычно Qwen занимает около 54 гигабайт памяти. PrismML говорит, что сократила это до менее 4 гигабайт, сохраняя все 27 миллиардов внутренних точек данных, называемых параметрами.
Генеральный директор Бабак Хасиби рассказал CNBC, что Apple и другие неназванные компании активно тестируют модели стартапа, измеряя скорость, энергопотребление и общую производительность на реальных устройствах. Он назвал обсуждения с Apple очень ранней стадией, но сказал, что «дела развиваются хорошо».
Выпуск произошел на день после того, как Apple открыла публичную бета-версию iOS 27, которая дает владельцам iPhone первый полноценный взгляд на долгожданное обновление Siri компании.
Почему важно, работает ли ИИ на вашем телефоне?
Запуск ИИ непосредственно на устройстве вместо отправки запроса на удаленный сервер и ожидания ответа быстрее и хранит ваши данные на телефоне. Это особенно важно, когда информация личная: записи о здоровье, расписание приема лекарств, фотографии. Это также означает, что некоторые функции работают вообще без подключения к интернету.
Apple уже обрабатывает некоторые задачи локально, включая перевод и базовое резюмирование. Более требовательные запросы идут в облако. Компания хочет обратить этот баланс.
Трюк PrismML заключается в радикальном упрощении способа хранения значений внутри модели. Стандартная модель хранит каждое значение, используя 16 возможных состояний, как очень точная измерительная шкала. PrismML сжимает каждое значение до всего одного или трех возможных состояний. Представьте себе переход от точно градуированной линейки к простому переключателю включения-выключения. Это резко снижает использование памяти.
Компания говорит, что компромисс заключается в небольшом снижении точности. Способность к воспроизведению фактов ослабляется в первую очередь. Навыки рассуждения и математики держатся лучше.
Аналитики приветствовали концепцию, но призвали к осторожности. Тарун Патак из Counterpoint Research сказал, что производительность на миллионах реальных запросов на тысячах различных комбинаций устройств — это истинный тест. Фил Солис из IDC указал на время автономной работы как на самый большой открытый вопрос: модель, используемая непрерывно в фоне, может разрядить телефон, даже если она требует меньше памяти.
Для обычных пользователей iPhone пока ничего не меняется. Это бизнес-переговоры, а не обновление программного обеспечения. Но если Apple и PrismML придут к соглашению, будущие улучшения Siri смогут поступать быстрее, работать автономно и обрабатывать более конфиденциальную информацию, не оставляя вашего кармана.
PrismML выпускает две сжатые версии моделей бесплатно, совместимые с iPhone, MacBook и ПК Windows на базе Nvidia. Модель Google Gemma будет следующей в очереди разработок компании.
