Liquid AI Comprime Sus Modelos Pequeños en Teléfonos y Raspberry Pis Sin Perder Mucha Calidad

Puntos clave

• Liquid AI lanzó checkpoints QAD Q4_0 para cuatro modelos LFM2.5 en agosto de 2026, disponibles en Hugging Face.
• La técnica recupera el 97% de la precisión que la compresión estándar normalmente elimina.
• Las cuatro versiones de modelo se ejecutaron con éxito en un Samsung Galaxy S26 Ultra y una Raspberry Pi 5, entre otros dispositivos.
• Los modelos más pequeños (230 millones y 350 millones de parámetros) mostraron velocidades de salida entre 4% y 33% más rápidas en comparación con un formato de compresión más pesado con calidad similar.

Ejecutar un modelo de IA en un teléfono o una computadora del tamaño de una tarjeta de crédito normalmente significa un intercambio difícil: encoge el modelo lo suficiente para que quepa, y se vuelve notablemente menos inteligente. Liquid AI dice que ha encontrado una manera de evitar eso.

La empresa lanzó checkpoints QAD Q4_0 para cuatro versiones de su familia de modelos LFM2.5. Los modelos LFM2.5 son modelos de lenguaje pequeños, es decir, herramientas de texto de IA lo suficientemente compactas como para ejecutarse en un único dispositivo en lugar de un servidor remoto. Los cuatro tamaños van desde 230 millones hasta 2.6 mil millones de parámetros, donde los parámetros son las configuraciones numéricas internas que determinan qué tan bien un modelo razona y sigue instrucciones.

¿Qué significa realmente "cuantización" aquí?

La cuantización es el proceso de hacer un modelo más pequeño redondeando sus números a valores más toscos, algo como convertir una foto de alta resolución a una miniatura muy comprimida. Más rápido y más ligero, pero menos preciso.

El enfoque estándar, llamado cuantización posterior al entrenamiento, aplica esta compresión después de que el modelo ya está terminado. El método de Liquid AI, Quantization-Aware Distillation (QAD), es diferente: enseña a un modelo de estudiante más pequeño y ya comprimido a imitar a un modelo de maestro más grande y nítido desde el principio, para que el estudiante aprenda a trabajar bien bajo el formato comprimido en lugar de ser exprimido después.

El resultado, según los propios benchmarks de Liquid AI en tareas de razonamiento, seguimiento de instrucciones y tareas de agentes: los modelos comprimidos mantuvieron entre el 96,5% y el 97,4% de la precisión de sus originales de punto flotante completo. Punto flotante completo significa ejecutar el modelo con todo su detalle numérico original intacto, lo que requiere mucha más memoria.

¿Realmente se ejecuta en hardware cotidiano?

Sí. Liquid AI midió la velocidad de generación de texto en un MacBook Pro, una computadora de escritorio compacta llamada NucBox EVO-X2, un Samsung Galaxy S26 Ultra y una Raspberry Pi 5, la pequeña computadora de placa única popular entre aficionados y escuelas.

Con 230 millones y 350 millones de parámetros, los modelos igualaron la calidad de un formato de compresión más pesado mientras generaban texto entre 4% y 33% más rápido. Con 1,2 mil millones y 2,6 mil millones, igualaron un formato más pesado diferente a velocidades entre 3% y 14% más rápidas.

Los cuatro modelos están disponibles gratuitamente para descargar ahora en Hugging Face y se ejecutan usando llama.cpp, una herramienta ampliamente utilizada para ejecutar modelos de IA localmente en hardware personal.

Hemos estado rastreando el impulso en dispositivos de Liquid AI desde finales de julio: nuestro artículo del 4 de agosto sobre el LFM2.5-2.6B encontró que compite con modelos cuatro veces su tamaño en benchmarks clave, y eso fue antes de que llegara el trabajo de compresión. QAD es la pieza que faltaba: un modelo que cabe en una Raspberry Pi y no se avergüenza allí es genuinamente útil, no solo una curiosidad de benchmark. El aspecto de privacidad también es real. Un modelo que se ejecuta completamente en tu teléfono mantiene tu conversación local, sin enviar datos a ningún lado.