Muse Glimmer da Meta é uma IA com 30 Mil Milhões de Parâmetros que Pode Executar no Seu Computador

Pontos-chave

• A Meta lançou o Muse Glimmer no mesmo dia deste anúncio, sob a licença de código aberto Apache 2.0, o que significa que qualquer pessoa pode usá-lo ou modificá-lo gratuitamente.
• O modelo tem 30 mil milhões de parâmetros, uma medida aproximada da sua complexidade, tornando-o mais pequeno e mais barato de executar do que muitos sistemas de IA de vanguarda.
• O Muse Glimmer consegue processar texto, imagens e vídeo num único modelo e pode chamar ferramentas externas, como um serviço meteorológico, por sua própria iniciativa.
• A Hugging Face disponibilizou suporte para o modelo no primeiro dia em cinco estruturas de software principais.
• Um acelerador de velocidade integrado chamado rascunho de descodificação especulativa é particularmente bom na geração de resultados estruturados, como código.

A Meta acabou de lançar um novo modelo de IA, e o facto mais importante é onde é executado: no seu próprio computador, não no servidor de uma empresa.

O Muse Glimmer é um modelo multimodal com 30 mil milhões de parâmetros, o que significa que lida com texto, imagens e vídeo em simultâneo, em vez de precisar de ferramentas separadas para cada um. Foi destilado a partir de um modelo Meta maior chamado Muse, um processo um pouco como criar uma edição concisa para estudantes a partir de um manual de referência volumoso. O resultado é um modelo suficientemente compacto para ser executado localmente enquanto mantém a capacidade de lidar com tarefas complexas.

O que é que na verdade consegue fazer?

O Muse Glimmer consegue responder a perguntas sobre fotos, analisar documentos, escrever e explicar código, e atuar como assistente pessoal que toma ações em seu nome. Se lhe mostrar uma fotografia de uma cidade e perguntar o que empacotar, consegue reconhecer a localização e consultar automaticamente um serviço meteorológico para lhe dar uma resposta real.

O vídeo também é suportado. O modelo processa vídeos até 96 fotogramas por clip, amostrando dois fotogramas por segundo, e marca cada fotograma com o seu registo de tempo para compreender quando as coisas acontecem, não apenas o que é mostrado.

O modelo também é o que os engenheiros chamam agêntico, o que significa que consegue dividir um objectivo em passos e executá-los sem alguém dirigir cada um manualmente. Pense nele menos como um motor de busca e mais como um interno capaz que consegue ler, procurar informações e agir.

Porque é que executar localmente é importante?

Executar o modelo no seu próprio hardware significa que os seus documentos, fotos e conversas nunca saem da sua máquina. Isso é importante para qualquer pessoa que lida com informações sensíveis: notas médicas, contratos legais, repositórios de código privado.

Também reduz custos. Os serviços de IA na nuvem cobram por pedido; um modelo executado localmente custa apenas a electricidade para executá-lo.

A licença Apache 2.0 é do tipo permissiva: as empresas podem criar produtos comerciais baseados no Muse Glimmer sem pagar royalties.

Qual é a sua velocidade?

Dentro do modelo existe um módulo de velocidade opcional chamado rascunho de descodificação especulativa, construído num sistema chamado DFlash. A descodificação especulativa é uma técnica onde um modelo mais pequeno e mais rápido adivinha as próximas várias palavras e o modelo principal verifica as adivinhações em massa, reduzindo o tempo para gerar cada resposta. A desvantagem é um uso ligeiramente maior de memória. A Meta afirma que o rascunho funciona especialmente bem quando o modelo está a escrever conteúdo estruturado como código.

Conforme relatado pela Hugging Face, as estruturas de software necessárias para executar o Muse Glimmer em cartões gráficos NVIDIA, AMD e Intel (os chips especializados em que os modelos de IA dependem para cálculos numéricos) estão todas prontas hoje, incluindo a popular biblioteca transformers e llama.cpp, uma ferramenta concebida para executar modelos grandes em hardware informático comum.

O que acontece a seguir?

A Meta está a posicionar o Muse Glimmer directamente para programadores e utilizadores conscientes da privacidade que desejam uma IA poderosa sem subscrição ou acordo de partilha de dados. Se as cargas de trabalho que antes exigiam um serviço na nuvem irão migrar para modelos locais depende amplamente de quão bem o tamanho de 30 mil milhões de parâmetros se mantém contra tarefas que actualmente exigem sistemas muito maiores.

A colecção completa do modelo está disponível na Hugging Face.