Tag
#speculative decoding
2 stories taggedspeculative decoding.
Frontier Labs
Liquid AI's New Draft Models Make Its LFMs Up to 3.2x Faster, No Quality Trade-off
A technique called speculative decoding lets a small helper model do the heavy lifting so the main model just checks the work. The result: dramatically faster output on everything from a data-centre GPU to a MacBook.
4 min read
Explained
El atajo de Apple para la IA: cómo un truco de 'borrador y verificación' hace que los modelos de razonamiento sean el doble de rápidos
Apple ML Research ha desarrollado una forma más inteligente de acelerar el pensamiento de la IA, que verifica el significado en lugar de contar palabras exactas. Podría reducir a la mitad el costo de ejecutar IA potente.
3 min read