Investigadores da Apple Encontraram uma Forma Mais Inteligente de Tornar a Geração de Vídeo por IA Muito Mais Rápida

Pontos-chave

• O Apple ML Research publicou um artigo descrevendo um método chamado atenção esparsa calibrada que acelera a geração de vídeo de texto para imagem em IA.
• Os investigadores descobriram que uma grande parte dos cálculos internos dos modelos de vídeo atuais produzem resultados próximos de zero e podem ser ignorados com segurança.
• Os padrões de omissão repetem-se de forma fiável em diferentes pedidos de vídeo, permitindo que o sistema os aprenda com antecedência em vez de os redescobrir sempre.
• Eliminar esses cálculos redundantes reduz o tempo de processamento sem alterar vissivelmente a qualidade do vídeo de saída.

Gerar um vídeo curto a partir de uma instrução de texto parece simples. Escrever "um gato a caminhar entre folhas de outono" e o modelo constrói cada fotograma, pixel por pixel. Na prática leva muito tempo, porque a IA tem de processar enormes quantidades de informação sobre como cada parte de cada fotograma se relaciona com todas as outras partes.

O nome técnico para esse processamento é atenção espaçotemporal, o que significa que o modelo verifica como cada pequeno fragmento do vídeo se conecta a todos os outros fragmentos, tanto no espaço como no tempo. Essas verificações são dispendiosas. Os modelos de vídeo modernos executam-nas biliões de vezes por geração.

Investigadores do Apple ML Research identificaram algo útil enterrado nesses cálculos. Uma fração significativa das conexões entre fragmentos tem pontuações tão próximas de zero que alteram a imagem final praticamente em nada. Ignorá-las não deve ter qualquer impacto.

Melhor ainda, essas conexões com baixa pontuação tendem a aparecer nos mesmos locais, independentemente do que o utilizador escrever. Os padrões são consistentes e repetitivos.

Essa consistência é o aspecto-chave. Como as conexões que merecem ser ignoradas repetem-se em diferentes instruções, o sistema pode ser calibrado com antecedência: executar o modelo num pequeno conjunto de referência de vídeos, mapear quais as conexões que consistentemente têm pontuação próxima de zero, depois integrar esse mapa. A partir daí, o modelo sabe com antecedência quais os cálculos a ignorar, sem precisar de verificar sempre.

A técnica funciona em dois níveis. Fragmentos individuais com conexões próximas de zero são ignorados. O mesmo acontece com pequenos grupos locais de fragmentos, chamados blocos de token, quando as conexões de todo o grupo são negligenciáveis em conjunto.

Os vídeos ficarão com pior qualidade?

Não, pelo menos não de forma visível para o utilizador. Como os cálculos ignorados já contribuíam quase nada para a imagem final, removê-los não altera o que aparece no ecrã. Os investigadores descrevem o efeito na qualidade de saída como negligenciável.

Para as pessoas comuns isto é importante porque afeta a rapidez com que as ferramentas de vídeo IA conseguem responder a um pedido. Uma geração mais rápida significa custos computacionais mais baixos para as empresas que executam esses modelos, e potencialmente resultados mais rápidos para os utilizadores de ferramentas de vídeo de consumo construídas sobre eles. Também poderia tornar mais prático executar modelos de vídeo capazes em hardware menos poderoso.

A abordagem não exige retreinar o modelo subjacente do zero, o que facilita aos programadores a integração em sistemas existentes. Isto é uma vantagem prática face a muitos métodos de aceleração, que exigem reconstruções dispendiosas.

A Apple não anunciou um produto baseado nesta investigação, mas a técnica aponta para ferramentas de vídeo IA que são mais baratas de executar e mais rápidas a responder.