Muse Glimmer de Meta es una IA de 30 mil millones de parámetros que puedes ejecutar en tu propia máquina
El nuevo modelo de código abierto ve imágenes, comprende video y puede actuar como asistente personal, todo sin enviar tus datos a un servidor en la nube.
Puntos clave
- Meta lanzó Muse Glimmer el mismo día de este anuncio, bajo la licencia de código abierto Apache 2.0, lo que significa que cualquiera puede usarlo o modificarlo de forma gratuita.
- El modelo tiene 30 mil millones de parámetros, una medida aproximada de su complejidad, lo que lo hace más pequeño y económico de ejecutar que muchos sistemas de IA de vanguardia.
- Muse Glimmer puede procesar texto, imágenes y video dentro de un único modelo, y puede utilizar herramientas externas como un servicio meteorológico de forma autónoma.
- Hugging Face proporcionó soporte para el modelo desde el primer día en cinco marcos de software principales.
- Un acelerador de velocidad integrado llamado decodificación especulativa es especialmente eficaz para generar resultados estructurados como código.
Meta acaba de lanzar un nuevo modelo de IA, y el hecho más destacado es dónde se ejecuta: en tu propia computadora, no en el servidor de una empresa.
Muse Glimmer es un modelo multimodal de 30 mil millones de parámetros, lo que significa que maneja texto, imágenes y video simultáneamente en lugar de necesitar herramientas separadas para cada uno. Se deriva de un modelo Meta más grande llamado Muse, un proceso similar a crear una edición de estudiante concisa a partir de un libro de texto extenso. El resultado es un modelo lo suficientemente compacto para ejecutarse localmente mientras sigue manejando tareas complejas.
¿Qué puede hacer realmente?
Muse Glimmer puede responder preguntas sobre fotos, analizar documentos, escribir y explicar código, y actuar como un asistente personal que toma acciones en tu nombre. Si le muestras una foto de una ciudad y le preguntas qué empacar, puede reconocer la ubicación e interrogar automáticamente un servicio meteorológico para darte una respuesta real.
El video también es compatible. El modelo procesa metraje de hasta 96 fotogramas por clip, muestreando dos fotogramas por segundo, e incluye cada fotograma con su marca de tiempo para entender cuándo suceden las cosas, no solo lo que se muestra.
El modelo también es lo que los ingenieros llaman agéntico, lo que significa que puede dividir un objetivo en pasos y ejecutarlos sin que alguien dirija cada uno manualmente. Piénsalo menos como un motor de búsqueda y más como un pasante capaz que puede leer, buscar información y actuar.
¿Por qué importa ejecutarlo localmente?
Ejecutar el modelo en tu propio hardware significa que tus documentos, fotos y conversaciones nunca abandonan tu máquina. Eso importa para cualquiera que maneje información sensible: notas médicas, contratos legales, repositorios de código privado.
También reduce costos. Los servicios de IA en la nube cobran por solicitud; un modelo ejecutado localmente solo cuesta la electricidad para ejecutarlo.
La licencia Apache 2.0 es del tipo permisivo: las empresas pueden construir productos comerciales sobre Muse Glimmer sin pagar regalías.
¿Qué tan rápido es?
Dentro del modelo hay un módulo de velocidad opcional llamado decodificación especulativa, construido en un sistema llamado DFlash. La decodificación especulativa es una técnica donde un modelo más pequeño y rápido adivina las siguientes palabras y el modelo principal verifica las adivinanzas en lote, reduciendo el tiempo para generar cada respuesta. La compensación es un uso de memoria ligeramente mayor. Meta dice que el acelerador funciona especialmente bien cuando el modelo está escribiendo contenido estructurado como código.
Según informó Hugging Face, los marcos de software necesarios para ejecutar Muse Glimmer en tarjetas gráficas de NVIDIA, AMD e Intel (los chips especializados en los que los modelos de IA se basan para realizar cálculos) están todos listos hoy, incluida la popular librería transformers y llama.cpp, una herramienta diseñada para ejecutar modelos grandes en hardware de consumidor ordinario.
¿Qué sucede después?
Meta está posicionando Muse Glimmer directamente hacia desarrolladores y usuarios conscientes de la privacidad que desean IA potente sin suscripción ni acuerdo de intercambio de datos. Si las cargas de trabajo que alguna vez requirieron un servicio en la nube migrarán a modelos locales depende en gran medida de qué tan bien el tamaño de 30 mil millones de parámetros se mantenga en comparación con tareas que hoy demandan sistemas mucho más grandes.
La colección de modelos completa está disponible en Hugging Face.
