Um Novo Método Reduz Drasticamente o Custo de Compressão de Grandes Modelos de IA
Investigadores encontraram uma forma de treinar modelos de IA mais pequenos e mais baratos a partir de modelos gigantes usando uma fração da memória anteriormente necessária, abrindo a porta a experiências que outrora exigiam um armazém de hardware.
Pontos-chave
- A destilação de conhecimento, copiar o comportamento de um grande modelo de IA para um mais pequeno, tipicamente exige centenas de chips especializados e coordenação cuidadosa.
- Um novo artigo coloca em cache os resultados do modelo grande de uma única vez, para que nunca tenha de ser executado novamente durante o treino, reduzindo significativamente o uso de memória.
- Uma segunda técnica, chamada perda KL em chunks fundidos, processa dados de treino em pequenos segmentos em vez de tudo de uma vez, mantendo a memória máxima quase constante mesmo com contextos muito longos.
- Com 32.000 tokens de contexto, a memória máxima cai de 85,2 gigabytes para 5,45 gigabytes, uma redução de 15,6 vezes.
- O código completo para a função de perda eficiente em memória está disponível publicamente no GitHub.
Os maiores modelos de IA do mundo são praticamente impossíveis de carregar. Kimi-K3, lançado no início deste ano, tem 2,8 triliões de parâmetros (pense em parâmetros como os milhões de pequenos controlos dentro de um modelo que são ajustados durante o treino) e precisa de aproximadamente três terabytes de memória especializada apenas para carregar. Isso é mais espaço do que o de vinte placas gráficas de consumo de topo combinadas.
Como executar modelos desse tamanho é tão dispendioso, os investigadores comprimem-nos regularmente em versões mais pequenas que custam menos a operar. O método padrão é chamado destilação de conhecimento: executa-se o grande modelo "professor" num monte de texto, regista-se como responderia, depois treina-se um modelo "aluno" mais pequeno para copiar essas respostas o mais fielmente possível. O aluno acaba por ser muito mais barato de executar, mantendo a maior parte da qualidade do professor.
Por que é isto tão caro de fazer?
A despesa vem de dois lugares. Primeiro, a abordagem padrão mantém tanto o professor como o aluno carregados na memória ao mesmo tempo. Segundo, comparar os seus resultados exige construir uma grelha enorme: uma linha para cada palavra do vocabulário do modelo (frequentemente mais de 100.000 palavras), uma coluna para cada posição na entrada. Multiplique-os entre si ao longo de um longo pedaço de texto e rapidamente enche todos os chips que tem.
Como exemplo concreto: um modelo aberto popular, gpt-oss-120b, tem um vocabulário de 201.088 palavras. Com um comprimento de sequência de 32.000 tokens (aproximadamente o valor de um romance breve) e um tamanho de lote modesto de quatro exemplos de cada vez, o tensor de saída do professor sozinho ocupa cerca de 50 gigabytes. Adicione o modelo aluno, gradientes e tudo mais o que o processo de treino precisa, e um único passo de treino pode chegar a aproximadamente 250 gigabytes, mais do que um H200, um dos chips de IA mais poderosos disponíveis hoje, consegue reter.
O que os investigadores alteraram?
Duas coisas, funcionando em conjunto. Ambas são descritas num artigo publicado pela equipa na CompactifAI, partilhado pela primeira vez no Hugging Face.
A primeira alteração é a destilação offline. Em vez de reexecutar o professor em cada passo de treino, os investigadores executam-no uma única vez e guardam apenas as suas 100 palavras mais prováveis por posição. Este cache é escrito em disco. O professor é depois desligado completamente, e o aluno treina contra o cache guardado sozinho. Como o cache pode ser reutilizado em muitas experiências diferentes, a execução cara do professor torna-se um custo único.
A segunda alteração é a perda KL em chunks fundidos. A divergência KL é uma medida matemática de quão diferentes duas distribuições de probabilidade são, aqui, quão diferentes as previsões de palavras do aluno são das do professor. A forma padrão de a calcular constrói aquela grelha completa de vocabulário-vezes-sequência de uma só vez e mantém tudo em memória. O novo método divide a sequência em pequenos chunks, calcula e descarta cada chunk antes de passar ao seguinte, e recalcula o que precisa durante a passagem para trás em vez de o guardar.
| Método | Memória máxima (contexto 8K) | Tempo de iteração |
|---|---|---|
| Destilação online | 102,8 GB | 25,9 s |
| Offline, KL denso | 78,3 GB | 18,5 s |
| Offline, KL forward-chunked | 61,8 GB | 18,4 s |
| Offline, KL em chunks fundidos | 58,3 GB | 20,2 s |
Os quatro métodos produzem resultados de treino quase idênticos, o que significa que a perda de qualidade ao usar as 100 previsões principais em cache em vez da distribuição completa do professor é negligenciável.
Isto é importante para documentos mais longos?
Sim, e a diferença cresce rapidamente. A vantagem de memória da abordagem em chunks fundidos é modesta em 8.000 tokens, mas dramática em comprimentos mais longos. Em 32.000 tokens, a memória máxima cai de 85,2 gigabytes com a abordagem padrão para 5,45 gigabytes com a nova. A perda densa falha completamente em 64.000 tokens. Em 256.000 tokens, o método em chunks fundidos usa 11,6 gigabytes contra 134,2 gigabytes para a alternativa seguinte mais boa.
Em termos simples: experiências que anteriormente exigiam um rack de centenas de chips agora podem ser executadas numa única placa de topo. Isso torna realista para equipas de investigação mais pequenas e empresas construírem modelos comprimidos a partir dos maiores sistemas de IA de código aberto disponíveis hoje.
Perguntas comuns
O modelo mais pequeno acaba por ser pior que o original?
Nos benchmarks reportados, a perda de treino do modelo aluno era quase idêntica em todos os quatro métodos, incluindo a abordagem barata nova. A qualidade manteve-se apesar de usar apenas as 100 palavras principais por posição em vez da saída completa do professor.
Pode alguém usar esta técnica?
O código de perda em chunks é de código aberto e foi publicado publicamente no GitHub pela CompactifAI. Qualquer pessoa com um único chip moderno de IA e uma cópia de um grande modelo de código aberto pode, em princípio, executar as suas próprias experiências de destilação com ele.
Quem se beneficia primeiro?
Equipas pequenas de investigação de IA e empresas que desejam comprimir grandes modelos de código aberto para implementação mais barata sentirão a diferença mais rapidamente. Os utilizadores finais podem beneficiar mais tarde à medida que mais modelos comprimidos acessíveis chegam aos produtos e serviços.
