Tag
#llama.cpp
2 stories taggedllama.cpp.
Explained
Hugging Face te permite ejecutar modelos de IA comprimidos en tu Mac con una línea de código
Hugging Face ha integrado soporte GGUF en su biblioteca Transformers, permitiendo a los usuarios de Mac con Apple Silicon cargar y ejecutar modelos de IA ligeros a velocidades que coinciden con aplicaciones locales dedicadas, sin configuración especial requerida.
4 min read
Frontier Labs
Liquid AI's New Draft Models Make Its LFMs Up to 3.2x Faster, No Quality Trade-off
A technique called speculative decoding lets a small helper model do the heavy lifting so the main model just checks the work. The result: dramatically faster output on everything from a data-centre GPU to a MacBook.
4 min read