Цей ШІ пропускає математику. Він міг би працювати на пластирі.
Інженер з Техаського університету стверджує, що нейронні мережі, побудовані на таблицях пошуку замість множення, можуть скоротити енергоспоживання ШІ в 1000 разів і розмістити на чипах настільки малих, що вони гнуться як пластик.
Ключові моменти
- Команда Ліді К. Джон з Техаського університету в Остіні створила нейронні мережі, які замінюють множення на таблиці пошуку, скорочуючи енергоспоживання в 10 разів на завданнях медичного моніторингу.
- Детектор аритмії команди, пристрій для моніторингу небезпечних серцевих ритмів, розміщується на гнучкому пластиковому чипі з лише близько 10 000 логічних вентилів, порівняно з мільярдами на стандартному чипі.
- Для одного завдання розпізнавання ключових слів їхня модель споживає 42–79 наноджоулів на рішення, порівняно з більш ніж 5000 наноджоулів для нинішньої провідної моделі в галузі.
- Цей підхід уже замінив приблизно половину трансформерної моделі, архітектури, що лежить в основі чат-ботів на кшталт ChatGPT, але повна підтримка мовних моделей все ще в розробці.
- Цей метод не новий, але майже жодна дослідницька команда над ним не працює.
Кожного разу, коли чат-бот відповідає на ваше запитання, нейронна мережа — багатошарова математична система, що дає ШІ його силу розпізнавання закономірностей — виконує мільйони чи мільярди множень. Помножте вхідне число на вивчену вагу. Складіть. Повторіть. Для одного речення така арифметика працює в масштабі, який більшості людей важко уявити.
Ліді К. Джон вважає, що це багато непотрібної роботи.
Джон — професорка електротехніки та комп'ютерної інженерії в Техаському університеті в Остіні. Протягом останніх п'яти років вона зосереджена на тому, що вона називає безважковими нейронними мережами. Замість того щоб множити числа, ці мережи пропускають прості сигнали так/ні через серію таблиць пошуку — невеликі збережені списки, які миттєво повертають попередньо розраховану відповідь, як надрукована таблиця множення повертає 7×8=56, не змушуючи вас обраховувати це з нуля. Результат — мережа, яка, залежно від завдання, може працювати з використанням енергії в 1000 разів менше або розміщуватися на чипі в 1000 разів меншому, ніж звичайна модель, при цьому отримуючи порівнянно точні результати.
Про цю роботу повідомив IEEE Spectrum.
Чому скорочення множення має таке велике значення?
Множення є дорогим з точки зору обладнання: воно потребує транзисторів, часу та енергії. Таблиця пошуку просто зчитує з пам'яті, що набагато дешевше. Людський мозок, як зазначає Джон, використовує близько 20 ватів для ведення розмови. Без будь-якого множення.
Найцікавіший результат її команди досі — це модель, яка виявляє аритмію, неправильне серцебиття, яке може сигналізувати про серйозні проблеми з серцем, на чипі, побудованому на гнучкому пластиковому листі. Цей пластик може розмістити лише близько 10 000 логічних вентилів. Сучасний чип смартфона вміщує мільярди. Звичайна модель ШІ не може працювати на чомусь настільки малому. Її модель може.
Для завдань медичного моніторингу, включаючи показники ЕКГ (електричні сигнали серця), показники ЕЕГ (електричні сигнали мозку) та артеріальний тиск, моделі її команди відповідають стандартній точності при частині енергії. Найкраща конкуруюча невелика модель для однієї з проблем, які вони вивчали, становить 17 мегабайтів. Їхня версія становить 14 кілобайтів, приблизно в 1200 разів менше. Оскільки модель розміщується на самому датчику, медичні дані ніколи не потребують виходити з пристрою для обробки. Це як енергозбереження, так і захист приватності.
Які зміни можуть побачити пацієнти?
У найближчому часі першою метою Джон є безперервний медичний моніторинг. Вона описує сенсорний пластир, який ви носите як пластирь протягом тижня — такий, що обробляє показання локально й сигналізує про проблему без потреби у телефоні чи лікарняному з'єднанні. Зараз більшість портативних датчиків збирають необроблені дані й передають їх по бездротовому зв'язку на сервер, тому що чип на датчику занадто малий і надто енергоємний, щоб самостійно запускати аналіз. Безважкова мережа це змінює.
Для розпізнавання ключових слів — процесу, при якому пристрій на кшталт динаміка Alexa постійно слухає своє слово активації — модель її команди використовує 42–79 наноджоулів на рішення. Нинішня провідна модель в галузі використовує понад 5000 наноджоулів для цього ж завдання. Це різниця між пристроєм, який працює тижні на батареї, та таким, що працює дні.
Чи може це коли-небудь дійти до чат-ботів?
Ще ні, але команда працює над цим. Трансформерна модель, архітектура, що лежить в основі ChatGPT та більшості сучасних асистентів ШІ, має дві основні секції, які повторюються послідовно: шар уваги, який зважує, як слова пов'язані одне з одним, і багатошаровий перцептрон, який виконує основну частину числових розрахунків. Команда Джон уже замінила половину багатошарового перцептрона еквівалентом на основі пошуку. Шар уваги все ще не вирішений.
Технологія також не нова: компанія у Великобританії побудувала комерційний продукт за її допомогою в 1980-х роках для розпізнавання закономірностей, потім цей підхід здебільшого зник. Дослідники з Федерального університету Ріо-де-Жанейро тихо підтримували цю ідею роками. Внесок Джон — це робити її ефективно на реальному обладнанні, спочатку на FPGA, гнучкому чипі, який можна перенастроїти для різних завдань, а тепер на спеціально побудованих субстратах.
Тренування все ще відбувається на звичайних GPU, спеціалізованих чипах для числових розрахунків, які живлять більшість дослідження ШІ. Але оскільки FPGA вже містять невеликі таблиці пошуку за проектом, Джон вважає, що вони можуть у кінцевому підсумку обробляти тренування також, замикаючи коло.
Честна застереження: усі результати досі походять із малих, конкретних завдань. Для великомасштабних мовних моделей ще не існує рецензованої демонстрації. Джон відверто про цю прогалину розповідає. Впевненість, що це масштабуватиметься просто, там ще не існує, за межами її лабораторії.
