Этот ИИ пропускает математику. Он может работать на пластыре.

Ключевые моменты

• Команда Лизи К. Джон из Техасского университета в Остине разработала нейронные сети, которые заменяют умножение таблицами поиска, снижая энергопотребление в 1000 раз при решении задач медицинского мониторинга.
• Детектор аритмии команды, устройство, которое отслеживает опасные сердечные ритмы, помещается на гибкий пластиковый чип всего с примерно 10 000 логических вентилей, по сравнению с миллиардами на стандартном чипе.
• Для одной задачи распознавания ключевых слов их модель использует 42–79 наноджоулей на решение, против более 5000 наноджоулей для текущей ведущей промышленной модели.
• Подход уже заменил примерно половину модели трансформера, архитектуры, которая лежит в основе чатботов вроде ChatGPT, но полная поддержка языковых моделей все еще разрабатывается.
• Эта методика не новая, но почти никакие научные группы ею не занимаются.

Каждый раз, когда чатбот отвечает на ваш вопрос, нейронная сеть — слоистая математическая система, которая дает ИИ способность распознавать закономерности — выполняет миллионы или миллиарды умножений. Умножьте входное число на изученный вес. Сложите. Повторите. Для одного предложения эта арифметика работает в масштабе, который большинству людей трудно представить.

Лизи К. Джон считает, что это огромная трата работы.

Джон — профессор электротехники и компьютерной инженерии Техасского университета в Остине. В течение последних пяти лет она сосредоточилась на том, что она называет бесвесовыми нейронными сетями. Вместо того чтобы умножать числа, эти сети передают простые сигналы да или нет через серию таблиц поиска — небольших сохраненных списков, которые мгновенно возвращают предварительно вычисленный ответ, точно так же как книга с таблицей умножения возвращает 7x8=56 без необходимости решать это с нуля. В результате получается сеть, которая в зависимости от задачи может работать с потреблением энергии в 1000 раз меньше или поместиться на чип в 1000 раз меньше, чем обычная модель, при этом получая сопоставимо точные ответы.

Об этой работе рассказал IEEE Spectrum.

Почему исключение умножения настолько важно?

С точки зрения оборудования умножение — дорогая операция: оно требует транзисторов, времени и энергии. Таблица поиска просто читает из памяти, что намного дешевле. Человеческий мозг, указывает Джон, использует около 20 ватт для ведения разговора. Никакого умножения не задействовано.

Самый впечатляющий результат ее команды на данный момент — это модель, которая обнаруживает аритмию, нерегулярное сердцебиение, которое может сигнализировать о серьезных проблемах с сердцем, на чипе, встроенном в гибкий пластиковый лист. Этот пластик может вместить только около 10 000 логических вентилей. Современный чип смартфона содержит миллиарды. Обычная модель ИИ не может работать на чем-то столь маленьком. Её может.

Для задач медицинского мониторинга, включая ЭКГ (электрические сигналы сердца), ЭЭГ (электрические сигналы мозга) и артериальное давление, модели её команды соответствуют стандартной точности при дроби энергии. Лучшая конкурирующая маленькая модель для одной изученной ими задачи составляет 17 мегабайт. Их версия — 14 килобайт, примерно в 1200 раз меньше. Поскольку модель помещается на самый сенсор, медицинские данные никогда не должны покидать устройство для обработки. Это как энергосбережение, так и защита приватности.

Какие изменения пациенты смогут увидеть на практике?

В ближайшем будущем первая цель Джон — непрерывный медицинский мониторинг. Она описывает пластырь-сенсор, который вы носите как обычный пластырь неделю, тот, который обрабатывает показания локально и сигнализирует о проблеме без необходимости подключения к телефону или больнице. Прямо сейчас большинство носимых сенсоров собирают сырые данные и передают их по беспроводной сети на сервер, потому что чип на сенсоре слишком маленький и потребляет слишком много энергии для самостоятельного анализа. Бесвесовая сеть переворачивает это с ног на голову.

Для распознавания ключевых слов, процесса, в котором устройство вроде колонки Alexa постоянно прослушивает свою пробудную фразу, модель её команды использует 42–79 наноджоулей на решение. Текущая ведущая промышленная модель использует более 5000 наноджоулей для той же задачи. Это разница между устройством, которое работает неделями на одной батарее, и устройством, которое работает дни.

Может ли это когда-нибудь дойти до чатботов?

Пока нет, но команда над этим работает. Модель трансформера, архитектура, стоящая за ChatGPT и большинством современных помощников ИИ, имеет две основные части, которые повторяются последовательно: слой внимания, который взвешивает, как слова соотносятся друг с другом, и многослойный персептрон, который выполняет основную часть вычислений. Команда Джон уже заменила часть многослойного персептрона эквивалентом на основе поиска. Слой внимания все еще не решен.

Эта технология также не новая: компания в Соединенном Королевстве разработала коммерческий продукт, использующий её в 1980-х годах для распознавания образов, затем подход в значительной степени исчез. Исследователи Федерального университета Рио-де-Жанейро тихо поддерживали эту идею в течение многих лет. Вклад Джон заключается в том, чтобы заставить её эффективно работать на реальном оборудовании, сначала на ПЛИС, гибком чипе, который можно переконфигурировать для различных задач, а теперь и на специально разработанных подложках.

Обучение по-прежнему происходит на обычных графических процессорах, специализированных микросхемах обработки чисел, которые питают большинство исследований ИИ. Но поскольку ПЛИС уже по своему замыслу содержат небольшие таблицы поиска, Джон верит, что они в конечном счете смогут справиться и с обучением, замыкая цикл.

Честная оговорка: каждый результат до сих пор получен из небольших, конкретных задач. Рецензируемой демонстрации для крупномасштабных языковых моделей пока не существует. Джон откровенна об этом пробеле. Уверенности в том, что это будет масштабироваться, просто еще нет, вне её собственной лаборатории.