Esta IA se salta las matemáticas. Podría funcionar en una tirita.

Puntos clave

• El equipo de Lizy K. John en la Universidad de Texas en Austin ha construido redes neuronales que reemplazan la multiplicación con tablas de búsqueda, reduciendo el consumo de energía hasta 1.000 veces en tareas de monitoreo médico.
• El detector de arritmia del equipo, un dispositivo que monitorea ritmos cardíacos peligrosos, cabe en un chip de plástico flexible con solo alrededor de 10.000 puertas lógicas, en comparación con miles de millones en un chip estándar.
• Para una tarea de reconocimiento de palabras clave, su modelo utiliza 42 a 79 nanojoules por decisión, frente a más de 5.000 nanojoules del modelo líder actual de la industria.
• El enfoque ya ha reemplazado aproximadamente la mitad de un modelo de transformador, la arquitectura detrás de chatbots como ChatGPT, pero el soporte completo para modelos de lenguaje aún está en progreso.
• La técnica no es nueva, pero casi ningún equipo de investigación está trabajando en ella.

Cada vez que un chatbot responde tu pregunta, una red neuronal, el sistema matemático en capas que da a la IA su poder de reconocimiento de patrones, realiza millones o miles de millones de multiplicaciones. Multiplica un número de entrada por un peso aprendido. Súmalos. Repite. Para una sola oración, esa aritmética se ejecuta a una escala que la mayoría de las personas luchan por imaginar.

Lizy K. John cree que eso es mucho trabajo innecesario.

John es profesora de ingeniería eléctrica e informática en la Universidad de Texas en Austin. Durante los últimos cinco años se ha enfocado en lo que ella llama redes neuronales sin pesos. En lugar de multiplicar números juntos, estas redes transmiten señales simples de sí o no a través de una serie de tablas de búsqueda, pequeñas listas almacenadas que devuelven una respuesta precalculada instantáneamente, de la misma manera que un libro de tablas de multiplicar impreso devuelve 7x8=56 sin hacerte calcularla desde cero. El resultado es una red que puede, dependiendo de la tarea, ejecutarse usando 1.000 veces menos energía o caber en un chip 1.000 veces más pequeño que un modelo convencional, mientras obtiene respuestas comparativamente precisas.

El trabajo fue cubierto por IEEE Spectrum.

¿Por qué es tan importante eliminar la multiplicación?

La multiplicación es cara en términos de hardware: requiere transistores, tiempo y energía. Una tabla de búsqueda simplemente lee de la memoria, que es mucho más barata. El cerebro humano, señala John, usa alrededor de 20 vatios para mantener una conversación. Sin multiplicación involucrada.

El resultado más sorprendente de su equipo hasta ahora es un modelo que detecta arritmia, un latido cardíaco irregular que puede señalar problemas cardíacos graves, en un chip construido sobre una lámina de plástico flexible. Ese plástico solo puede contener alrededor de 10.000 puertas lógicas. Un chip de smartphone moderno contiene miles de millones. Un modelo de IA convencional no puede ejecutarse en algo tan pequeño. El suyo sí puede.

Para tareas de monitoreo médico incluyendo lecturas de ECG (señales eléctricas del corazón), lecturas de EEG (señales eléctricas del cerebro) y presión arterial, los modelos de su equipo coinciden con la precisión estándar con una fracción de la energía. El mejor modelo competidor pequeño para un problema que estudiaron es de 17 megabytes. Su versión es de 14 kilobytes, aproximadamente 1.200 veces más pequeña. Como el modelo cabe en el sensor mismo, los datos de salud nunca necesitan abandonar el dispositivo para procesamiento. Eso es tanto un ahorro de energía como una protección de privacidad.

¿Qué cambios podrían ver realmente los pacientes?

A corto plazo, el primer objetivo de John es el monitoreo médico continuo. Describe un parche de sensor que usas como una tirita durante una semana, uno que procesa lecturas localmente e indica un problema sin necesidad de teléfono o conexión hospitalaria. Ahora mismo, la mayoría de los sensores portátiles recopilan datos sin procesar y los transmiten de forma inalámbrica a un servidor porque el chip del sensor es demasiado pequeño y consume demasiada energía para ejecutar análisis por sí solo. Una red sin pesos invierte eso.

Para reconocimiento de palabras clave, el proceso mediante el cual un dispositivo como un altavoz Alexa escucha constantemente su palabra de activación, el modelo de su equipo utiliza 42 a 79 nanojoules por decisión. El modelo líder actual de la industria utiliza más de 5.000 nanojoules para la misma tarea. Esa es la diferencia entre un dispositivo que dura semanas con una batería y uno que dura días.

¿Puede esto alguna vez llegar a los chatbots?

Aún no, pero el equipo está trabajando en ello. Un modelo de transformador, la arquitectura detrás de ChatGPT y la mayoría de asistentes de IA modernos, tiene dos secciones principales que se repiten en secuencia: una capa de atención, que pondera cómo se relacionan las palabras entre sí, y un perceptrón multicapa, que realiza la mayor parte del cálculo numérico. El equipo de John ya ha reemplazado la mitad del perceptrón multicapa con un equivalente basado en búsqueda. La capa de atención aún no se ha resuelto.

La tecnología tampoco es nueva: una empresa en el Reino Unido construyó un producto comercial usando esto en los años 80 para reconocimiento de patrones, luego el enfoque desapareció en gran medida. Los investigadores de la Universidad Federal de Río de Janeiro mantuvieron la idea viva silenciosamente durante años. La contribución de John es hacerla funcionar de manera eficiente en hardware real, primero en un FPGA, un chip flexible que se puede reconfigurar para diferentes tareas, y ahora en sustratos construidos específicamente.

El entrenamiento aún ocurre en GPUs convencionales, los chips especializados de cálculo numérico que potencian la mayoría de la investigación de IA. Pero como los FPGA ya contienen pequeñas tablas de búsqueda por diseño, John cree que eventualmente podrían manejar también el entrenamiento, cerrando el ciclo.

La salvedad honesta: cada resultado hasta ahora proviene de tareas pequeñas y específicas. Aún no existe demostración revisada por pares para modelos de lenguaje a gran escala. John es franca sobre esa brecha. La confianza en que escalará simplemente aún no está allí, fuera de su propio laboratorio.