Tag
#quantization
2 stories taggedquantization.
Frontier Labs
Liquid AI Comprime Sus Modelos Pequeños en Teléfonos y Raspberry Pis Sin Perder Mucha Calidad
Un nuevo truco de entrenamiento llamado Quantization-Aware Distillation permite que los modelos de lenguaje compactos de Liquid AI se ejecuten en hardware económico manteniendo el 97% de la precisión de punto flotante completo.
3 min read
Explained
Ejecuta modelos de IA para imágenes en una GPU normal: Hugging Face trae Diffusion de 4 bits a las masas
Una nueva integración llamada Nunchaku Lite permite que la IA generadora de imágenes se ejecute en tarjetas gráficas de consumidor con la mitad de la memoria y velocidades aproximadamente 30% más rápidas, sin necesidad de configuración especializada.
5 min read