Tag
#inference speed
3 stories taggedinference speed.
Frontier Labs
Liquid AI's New Draft Models Make Its LFMs Up to 3.2x Faster, No Quality Trade-off
A technique called speculative decoding lets a small helper model do the heavy lifting so the main model just checks the work. The result: dramatically faster output on everything from a data-centre GPU to a MacBook.
4 min read
Explained
La scorciatoia IA di Apple: Come un trucco 'Bozza e Controllo' rende i modelli di ragionamento il doppio più veloci
Apple ML Research ha sviluppato un modo più intelligente per accelerare il pensiero dell'IA, che verifica il significato invece di contare le parole esatte. Potrebbe dimezzare il costo dell'esecuzione di potenti sistemi di IA.
3 min read
Science & Space
I ricercatori di Apple hanno trovato un modo più intelligente per rendere la generazione di video AI molto più veloce
Una nuova tecnica della Apple ML Research riduce il tempo necessario all'IA per trasformare i prompt di testo in video, insegnando al modello a saltare i calcoli che in realtà non sono necessari.
3 min read