Esta IA Ignora a Matemática. Consegue Funcionar num Penso.

Pontos-chave

• A equipa de Lizy K. John na Universidade do Texas em Austin construiu redes neurais que substituem a multiplicação por tabelas de pesquisa, reduzindo o consumo energético até 1.000 vezes em tarefas de monitorização médica.
• O detector de arritmia da equipa, um dispositivo que deteta ritmos cardíacos perigosos, cabe num chip flexível de plástico com apenas cerca de 10.000 portas lógicas, comparado com mil milhões num chip padrão.
• Para uma tarefa de detecção de palavras-chave, o modelo deles utiliza 42 a 79 nanojoules por decisão, em comparação com mais de 5.000 nanojoules para o modelo líder actual da indústria.
• A abordagem já substituiu aproximadamente metade de um modelo transformer, a arquitetura por trás de chatbots como ChatGPT, mas o suporte completo de modelos de linguagem ainda está em desenvolvimento.
• A técnica não é nova, mas quase nenhuma equipa de investigação está a trabalhar nela.

Sempre que um chatbot responde à sua pergunta, uma rede neural, o sistema matemático em camadas que dá ao AI o seu poder de reconhecimento de padrões, realiza milhões ou mil milhões de multiplicações. Multiplica um número de entrada por um peso aprendido. Soma tudo. Repete. Para uma única frase, essa aritmética executa-se numa escala que a maioria das pessoas tem dificuldade em imaginar.

Lizy K. John pensa que isso é muito trabalho desnecessário.

John é professora de engenharia elétrica e informática na Universidade do Texas em Austin. Durante os últimos cinco anos focou-se no que chama redes neurais sem pesos. Em vez de multiplicar números entre si, estas redes transmitem sinais simples de sim ou não através de uma série de tabelas de pesquisa, pequenas listas armazenadas que devolvem uma resposta pré-calculada instantaneamente, da mesma forma que um livro de tabuada impressa devolve 7x8=56 sem o obrigar a trabalhar a partir do zero. O resultado é uma rede que pode, dependendo da tarefa, funcionar usando 1.000 vezes menos energia ou caber num chip 1.000 vezes mais pequeno do que um modelo convencional, mantendo respostas comparativamente precisas.

O trabalho foi abordado pela IEEE Spectrum.

Por que é que eliminar a multiplicação é tão importante?

A multiplicação é cara em termos de hardware: requer transístores, tempo e energia. Uma tabela de pesquisa apenas lê a partir da memória, o que é muito mais barato. O cérebro humano, como John aponta, utiliza cerca de 20 watts para manter uma conversa. Sem multiplicação envolvida.

O resultado mais notável da sua equipa até agora é um modelo que deteta arritmia, um batimento cardíaco irregular que pode sinalizar problemas cardíacos graves, num chip construído numa folha de plástico flexível. Esse plástico consegue apenas acomodar cerca de 10.000 portas lógicas. Um chip moderno de smartphone contém mil milhões. Um modelo AI convencional não consegue funcionar em algo tão pequeno. O dela consegue.

Para tarefas de monitorização médica incluindo leituras ECG (sinais cardíacos elétricos), leituras EEG (sinais cerebrais elétricos) e pressão arterial, os modelos da sua equipa correspondem à precisão padrão com uma fração da energia. O melhor modelo pequeno concorrente para um problema que estudaram tem 17 megabytes. A versão deles tem 14 kilobytes, aproximadamente 1.200 vezes mais pequena. Como o modelo cabe no próprio sensor, os dados de saúde nunca precisam de sair do dispositivo para processamento. Isso é tanto uma poupança de energia como uma proteção da privacidade.

Que mudanças poderiam os pacientes realmente ver?

A curto prazo, o primeiro alvo de John é a monitorização médica contínua. Descreve um sensor em forma de penso que se usa durante uma semana, um que processa leituras localmente e sinaliza um problema sem necessidade de telefone ou ligação hospitalar. Neste momento, a maioria dos sensores portáteis recolhem dados brutos e transmitem-nos por wireless para um servidor porque o chip no sensor é demasiado pequeno e demasiado consumidor de energia para executar análise por si próprio. Uma rede sem pesos inverte isso.

Para detecção de palavras-chave, o processo pelo qual um dispositivo como um altifalante Alexa ouve constantemente a sua palavra de ativação, o modelo da sua equipa utiliza 42 a 79 nanojoules por decisão. O modelo líder atual da indústria utiliza mais de 5.000 nanojoules para a mesma tarefa. Essa é a diferença entre um dispositivo que dura semanas com uma bateria e um que dura dias.

Pode isto alguma vez chegar aos chatbots?

Ainda não, mas a equipa está a trabalhar nisso. Um modelo transformer, a arquitetura por trás de ChatGPT e da maioria dos assistentes AI modernos, tem duas secções principais que se repetem em sequência: uma camada de atenção, que pondera como as palavras se relacionam entre si, e um perceptrão multicamada, que executa a maioria do processamento numérico. A equipa de John já substituiu a metade do perceptrão multicamada com um equivalente baseado em pesquisa. A camada de atenção ainda é um problema em aberto.

A tecnologia também não é nova: uma empresa no Reino Unido construiu um produto comercial usando-a nos anos 80 para reconhecimento de padrões, depois a abordagem desapareceu largamente. Investigadores da Universidade Federal do Rio de Janeiro mantiveram a ideia viva discretamente durante anos. A contribuição de John é fazê-la funcionar eficientemente em hardware real, primeiro num FPGA, um chip flexível que pode ser reconfigurado para diferentes tarefas, e agora em substratos construídos especificamente para isso.

O treino ainda acontece em GPUs convencionais, os chips especializados de processamento numérico que alimentam a maioria da investigação em IA. Mas como os FPGAs já contêm pequenas tabelas de pesquisa por design, John acredita que poderiam eventualmente lidar com treino também, fechando o ciclo.

A ressalva honesta: cada resultado até agora vem de tarefas pequenas e específicas. Ainda não existe demonstração revisada por pares para modelos de linguagem em larga escala. John é franca sobre essa lacuna. A confiança de que será escalável simplesmente não existe ainda, fora do seu próprio laboratório.