Tag
#inference speed
3 stories taggedinference speed.
Frontier Labs
Liquid AI's New Draft Models Make Its LFMs Up to 3.2x Faster, No Quality Trade-off
A technique called speculative decoding lets a small helper model do the heavy lifting so the main model just checks the work. The result: dramatically faster output on everything from a data-centre GPU to a MacBook.
4 min read
Explained
El atajo de Apple: Cómo un truco de 'borrador y verificación' hace que los modelos de razonamiento sean el doble de rápidos
Apple ML Research ha desarrollado una forma más inteligente de acelerar el pensamiento de la IA, que verifica el significado en lugar de contar palabras exactas. Podría reducir el costo de ejecutar IA poderosa a la mitad.
3 min read
Science & Space
Investigadores de Apple Descubrieron una Forma Más Inteligente de Acelerar la Generación de Video con IA
Una nueva técnica de Apple ML Research reduce el tiempo que tarda la IA en convertir descripciones de texto en video, al enseñar al modelo a omitir cálculos que no necesita.
3 min read