Tag
#inference speed
3 stories taggedinference speed.
Frontier Labs
Liquid AI's New Draft Models Make Its LFMs Up to 3.2x Faster, No Quality Trade-off
A technique called speculative decoding lets a small helper model do the heavy lifting so the main model just checks the work. The result: dramatically faster output on everything from a data-centre GPU to a MacBook.
4 min read
Explained
Ускорение AI от Apple: как трюк с «черновиком и проверкой» делает модели рассуждения в два раза быстрее
Apple ML Research разработала умный способ ускорить работу AI, который проверяет смысл вместо подсчета точных слов. Это может сократить расходы на запуск мощного AI наполовину.
3 min read
Science & Space
Исследователи Apple нашли более эффективный способ ускорить генерацию видео с помощью AI
Новая методика от Apple ML Research сокращает время, необходимое ИИ для преобразования текстовых запросов в видео, за счет обучения модели пропускать ненужные вычисления.
3 min read