Tag
#inference speed
3 stories taggedinference speed.
Frontier Labs
Liquid AI's New Draft Models Make Its LFMs Up to 3.2x Faster, No Quality Trade-off
A technique called speculative decoding lets a small helper model do the heavy lifting so the main model just checks the work. The result: dramatically faster output on everything from a data-centre GPU to a MacBook.
4 min read
Explained
Le raccourci IA d'Apple : comment une astuce « Brouillon et Vérification » rend les modèles de raisonnement deux fois plus rapides
Apple ML Research a développé un moyen plus intelligent d'accélérer la réflexion de l'IA, qui vérifie le sens plutôt que de compter les mots exacts. Cela pourrait réduire de moitié le coût d'exécution des IA puissantes.
3 min read
Science & Space
Des chercheurs d'Apple ont trouvé un moyen plus intelligent d'accélérer la génération vidéo par IA
Une nouvelle technique de Apple ML Research réduit le temps nécessaire à l'IA pour convertir des descriptions textuelles en vidéo, en apprenant au modèle à ignorer les calculs inutiles.
3 min read