O Atalho de IA da Apple: Como um Truque de 'Rascunho e Verificação' Torna Modelos de Raciocínio Duas Vezes Mais Rápidos

Pontos principais

• A Apple ML Research publicou uma técnica chamada Arbitrage que acelera modelos de raciocínio de IA até 2 vezes sem sacrificar a qualidade das respostas.
• O método melhora um truque de velocidade existente chamado Speculative Decoding, avaliando se um rascunho de resposta é suficientemente bom, não apenas correto palavra por palavra.
• O raciocínio Long Chain-of-Thought, o monólogo interno passo a passo que ajuda a IA a resolver problemas difíceis, é particularmente caro de executar, tornando os ganhos de velocidade aqui especialmente valiosos.
• A técnica visa grandes modelos de linguagem, a tecnologia por trás de chatbots como ChatGPT e Claude, na fase de inferência, que é o momento em que a IA gera uma resposta para um utilizador.

Sempre que faz uma pergunta difícil a um poderoso chatbot de IA, algo caro acontece nos bastidores. O modelo pensa no problema passo a passo, um processo que os investigadores chamam raciocínio Chain-of-Thought, antes de lhe dar uma resposta. Todo esse raciocínio consome poder computacional rapidamente.

A Apple ML Research publicou um artigo descrevendo uma técnica chamada Arbitrage que poderia tornar esse processo significativamente mais barato.

Qual é o problema que resolve?

A indústria de IA já tem um truque de velocidade chamado Speculative Decoding. A ideia é simples: usar um modelo pequeno, rápido mas menos preciso para escrever um rascunho aproximado da resposta, palavra por palavra. Depois deixar que o modelo grande e preciso verifique esse rascunho de uma vez. Verificar em massa é mais rápido do que gerar do zero.

A pegadilha? O modelo grande descarta palavras no momento em que não correspondem exatamente à sua própria previsão, mesmo quando o significado é perfeitamente aceitável. Se o rascunho diz "portanto" e o modelo grande teria escrito "assim", isso conta como falha. O rascunho é rejeitado e o trabalho recomeça. Isso é esforço desperdiçado.

Arbitrage corrige isto fazendo uma pergunta mais inteligente. Em vez de "esta palavra é idêntica?" pergunta "esta resposta leva a um resultado correto?"

Como funciona realmente?

O sistema treina um pequeno modelo de pontuação, chamado modelo de vantagem, para avaliar se um passo de rascunho é suficientemente bom para manter, mesmo que a redação seja diferente. O nome Arbitrage vem da ideia de identificar valor que outros não veem: encontrar tokens de rascunho, os fragmentos de palavras individuais que uma IA produz, que são corretos na substância mesmo que não sejam uma correspondência perfeita.

Como menos rascunhos são descartados, o modelo pequeno rápido contribui muito mais trabalho útil. O modelo grande gasta menos tempo a regenerar passos do zero.

Nos testes, a abordagem atingiu velocidades até duas vezes mais rápidas do que executar o modelo grande sozinho, mantendo a qualidade das respostas ao mesmo nível.

Por que isto interessa aos utilizadores comuns?

Inferência mais rápida, ou seja, geração de respostas mais rápida, traduz-se diretamente em tempos de espera mais curtos e custos de execução mais baixos para as empresas que constroem produtos de IA. Custos mais baixos podem significar subscrições mais baratas, respostas mais rápidas, ou funcionalidades de IA chegando a dispositivos com menos poder computacional.

O raciocínio Chain-of-Thought é o que permite à IA moderna lidar com problemas matemáticos, análise legal, codificação e planeamento complexo. Torná-lo mais barato de executar significa que essas capacidades podem chegar a mais pessoas.

Arbitrage não mudará o que vê no ecrã hoje. Mas o funcionamento interno que melhora está por baixo de quase todos os produtos de IA sérios que já usa.

Questões comuns

Isto torna as respostas de IA menos fiáveis?

Não. O modelo de vantagem é treinado para aceitar passos de rascunho apenas quando levam a resultados corretos. A qualidade das respostas nos testes da Apple manteve-se estável enquanto a velocidade aumentou.

Isto aparecerá nos próprios produtos da Apple?

A Apple ML Research publicou isto como investigação académica. Ainda não há anúncio de produto, mas técnicas como esta rotineiramente passam de artigos de investigação para produtos enviados no prazo de um a dois anos.