Tag
#inference speed
3 stories taggedinference speed.
Frontier Labs
Liquid AI's New Draft Models Make Its LFMs Up to 3.2x Faster, No Quality Trade-off
A technique called speculative decoding lets a small helper model do the heavy lifting so the main model just checks the work. The result: dramatically faster output on everything from a data-centre GPU to a MacBook.
4 min read
Explained
Apples KI-Trick: Wie ein „Entwurf und Überprüfung"-Verfahren Reasoning-Modelle doppelt so schnell macht
Apple ML Research hat eine intelligentere Methode entwickelt, um KI-Denkprozesse zu beschleunigen – eine, die Bedeutung statt exakte Wortanzahl überprüft. Dies könnte die Kosten für den Betrieb leistungsstarker KI um die Hälfte senken.
3 min read
Science & Space
Apple-Forscher entdecken intelligentere Methode zur deutlich schnelleren KI-Videogenerierung
Eine neue Technik aus Apples ML-Forschung verkürzt die Zeit, die KI benötigt, um Textaufforderungen in Videos umzuwandeln, indem das Modell lernt, Berechnungen zu überspringen, die es eigentlich nicht braucht.
3 min read