Quatro startups a apostar que a próxima onda de IA funciona com algo melhor do que transformers

Pontos-chave

• Investigadores do Google inventaram a rede neural transformer em 2017, e agora é a base de todos os principais chatbots de IA no mercado.
• A OpenAI está prestes a gastar 50 mil milhões de dólares em computação em 2025, principalmente porque os transformers são dispendiosos para executar em larga escala.
• A Agência Internacional de Energia prevê que o consumo de eletricidade dos centros de dados duplicará até 2030.
• Pelo menos quatro startups estão a construir arquiteturas de IA alternativas que afirmam ser mais rápidas, mais baratas e melhor adaptadas a tarefas complexas.
• Uma dessas empresas, Liquid AI, registou quase 34 milhões de transferências de modelos que funcionam num computador de hobby de 50 dólares.

No verão de 2017, uma equipa do Google publicou um artigo intitulado "Attention Is All You Need." Descrevia um novo tipo de rede neural (pense numa rede neural como software modelado de forma aproximada na forma como as células cerebrais se conectam) chamado transformer. Os transformers revelaram-se extraordinariamente bons a ler e gerar texto, e tornaram-se o motor dentro de todos os chatbots de IA que conhece, desde ChatGPT a Claude até Gemini.

Sete anos depois, os transformers estão a sofrer sob o peso do seu próprio sucesso.

Qual é o problema real?

Para compreender o significado de uma frase, um transformer compara cada palavra com todas as outras palavras. Funciona brilhantemente para texto curto. Para documentos longos fica dispendioso rapidamente: um documento de 10 mil palavras pode exigir 50 milhões de cálculos individuais. Quanto mais texto introduzir, pior fica.

Esta fome computacional tem um custo real. A OpenAI planeia gastar 50 mil milhões de dólares em computação este ano, de acordo com o presidente da empresa, Greg Brockman. A Agência Internacional de Energia diz que a eletricidade total consumida pelos centros de dados duplicará até 2030.

Os transformers também têm dificuldade com as tarefas que as empresas de IA agora estão a vender. Os modelos de raciocínio, que anotam a si mesmos enquanto resolvem um problema, produzem grandes quantidades de texto adicional que o transformer deve depois processar. Os agentes de IA, software que pode realizar tarefas com múltiplos passos de forma independente, precisam de fazer malabares com informações de muitas fontes ao mesmo tempo. Ambos empurram os transformers para o seu limite.

Quais são as alternativas?

Quatro empresas estão a atacar o problema por ângulos diferentes.

Subquadratic, uma startup de Miami, diz que construiu um modelo chamado SubQ que utiliza "atenção esparsa." Em vez de comparar cada palavra com todas as outras palavras, a atenção esparsa seleciona apenas os emparelhamentos que importam, reduzindo dramaticamente o número de cálculos. A empresa afirma que SubQ rivaliza com os principais modelos de linguagem em tarefas de pesquisa e programação, embora alguns investigadores permaneçam céticos. Milhares de utilizadores estão supostamente na lista de espera.

Manifest AI, sediada em San Francisco, vai mais longe e substitui completamente o mecanismo de atenção. A sua abordagem, chamada "power retention," oferece ao modelo um resumo contínuo do que leu até agora, eliminando informações que deixaram de ser relevantes conforme novo material chega. Pense num leitor que toma boas notas em vez de memorizar cada palavra. A empresa utilizou a técnica para construir PowerCoder, baseado num modelo de programação de código aberto existente, e Brumby, que diz competir com algumas versões do popular modelo de código aberto Qwen da Alibaba.

Liquid AI, um spinout do MIT sediado em Cambridge, Massachusetts, adopta uma abordagem híbrida. Os seus modelos, chamados LFMs (liquid foundation models), combinam transformers com uma tecnologia diferente chamada redes neurais líquidas, inspirada nos sistemas nervosos simples de vermes. O resultado: modelos suficientemente pequenos para executar num Raspberry Pi, um computador de hobby de 50 dólares, no entanto a empresa afirma que igualam o desempenho de rivais quatro vezes o seu tamanho. Liquid AI registou perto de 34 milhões de transferências. Mercedes está entre os seus clientes.

O que isto significa para pessoas comuns?

Nada muda no seu chatbot amanhã. Os transformers estão profundamente integrados nos produtos, e substituí-los leva anos. Mas a direção importa.

Se estas abordagens alternativas funcionarem em larga escala, os serviços de IA poderiam tornar-se mais baratos de executar, o que provavelmente significaria custos mais baixos transmitidos às empresas e, eventualmente, aos utilizadores. Modelos mais pequenos e eficientes também poderiam executar em dispositivos que já possui, mantendo os seus dados no seu telemóvel em vez de um servidor distante.

A MIT Technology Review, que primeiro expôs várias destas empresas, chama esta próxima geração de modelos "LLMs+." Se alguma das startups de hoje é a que a constrói é uma questão em aberto. Mas o problema que estão a tentar resolver é muito real.

Perguntas comuns

Preciso fazer algo diferente como utilizador de IA agora?

Não. Estas mudanças estão a acontecer ao nível da engenharia, dentro das empresas que construem ferramentas de IA. Por enquanto, os produtos que utiliza parecem iguais por fora.

Estas alternativas definitivamente substituirão os transformers?

Não necessariamente. Os transformers já sobreviveram a previsões da sua substituição antes. Cada uma destas startups ainda tem de provar que a sua abordagem escala para o tamanho de modelos que alimentam produtos principais, o que é um desafio técnico e financeiro significativo.