Diese KI überspringt die Mathematik. Sie könnte auf einem Pflaster laufen.

Wichtige Punkte

• Das Team von Lizy K. John an der University of Texas at Austin hat neuronale Netze entwickelt, die Multiplikation durch Nachschlagetabellen ersetzen und den Energieverbrauch bei medizinischen Überwachungsaufgaben um bis zu das 1.000-fache reduzieren.
• Der Arrhythmie-Detektor des Teams, ein Gerät, das auf gefährliche Herzrhythmusstörungen überwacht, passt auf einen flexiblen Kunststoffchip mit nur etwa 10.000 Logikgattern, im Vergleich zu Milliarden auf einem Standard-Chip.
• Für eine Keyword-Spotting-Aufgabe verbraucht ihr Modell 42 bis 79 Nanojoule pro Entscheidung, gegenüber mehr als 5.000 Nanojoule für das aktuelle führende Branchenmodell.
• Der Ansatz hat bereits etwa die Hälfte eines Transformer-Modells ersetzt, der Architektur hinter Chatbots wie ChatGPT, aber vollständige Unterstützung für Sprachmodelle ist noch in Arbeit.
• Die Technik ist nicht neu, aber kaum ein Forschungsteam arbeitet daran.

Jedes Mal, wenn ein Chatbot deine Frage beantwortet, führt ein neuronales Netz, das geschichtete mathematische System, das der KI ihre Mustererkennung verleiht, Millionen oder Milliarden von Multiplikationen durch. Multipliziere eine Eingabezahl mit einem erlernten Gewicht. Addiere sie. Wiederhole. Für einen einzigen Satz läuft diese Arithmetik in einem Ausmaß ab, das sich die meisten Menschen kaum vorstellen können.

Lizy K. John denkt, dass das viel unnötige Arbeit ist.

John ist Professorin für Elektro- und Computertechnik an der University of Texas at Austin. In den letzten fünf Jahren hat sie sich auf das konzentriert, was sie gewichtslose neuronale Netze nennt. Anstatt Zahlen miteinander zu multiplizieren, leiten diese Netze einfache Ja-Nein-Signale durch eine Reihe von Nachschlagetabellen, kleine gespeicherte Listen, die sofort eine vorberechnete Antwort zurückgeben, ähnlich wie ein gedrucktes Einmaleins-Buch 7x8=56 zurückgibt, ohne dass du es von Grund auf selbst berechnen musst. Das Ergebnis ist ein Netz, das je nach Aufgabe mit 1.000-mal weniger Energie laufen oder in einen 1.000-mal kleineren Chip passen kann als ein herkömmliches Modell, während es vergleichbar genaue Ergebnisse liefert.

Die Arbeit wurde von IEEE Spectrum behandelt.

Warum ist das Weglassen von Multiplikation so wichtig?

Multiplikation ist in Hardware-Begriffen teuer: Sie benötigt Transistoren, Zeit und Energie. Eine Nachschlagetabelle liest einfach aus dem Speicher, was viel billiger ist. Das menschliche Gehirn, wie John bemerkt, benötigt etwa 20 Watt, um ein Gespräch zu führen. Keine Multiplikation beteiligt.

Das bemerkenswerteste Ergebnis ihres Teams bisher ist ein Modell, das Arrhythmien, einen unregelmäßigen Herzschlag, der auf ernsthafte Herzprobleme hindeuten kann, auf einem Chip erkennt, der auf einem flexiblen Kunststoffblatt aufgebaut ist. Dieser Kunststoff kann nur etwa 10.000 Logikgatter aufnehmen. Ein moderner Smartphone-Chip enthält Milliarden. Ein herkömmliches KI-Modell kann nicht auf etwas so Kleinem laufen. Ihres kann.

Für medizinische Überwachungsaufgaben, einschließlich EKG-Messungen (elektrische Herzsignale), EEG-Messungen (elektrische Gehirnsignale) und Blutdruck, entsprechen die Modelle ihres Teams der Standard-Genauigkeit mit einem Bruchteil der Energie. Das beste konkurrierende kleine Modell für ein Problem, das sie untersucht haben, ist 17 Megabyte groß. Ihre Version ist 14 Kilobyte, etwa 1.200-mal kleiner. Da das Modell auf dem Sensor selbst passt, müssen Gesundheitsdaten nie das Gerät zur Verarbeitung verlassen. Das ist sowohl eine Energieeinsparung als auch ein Datenschutz.

Welche Veränderungen könnten Patienten tatsächlich sehen?

Kurzfristig ist Johns erstes Ziel die kontinuierliche medizinische Überwachung. Sie beschreibt einen Sensor-Patch, den du wie ein Pflaster eine Woche lang trägst, einen, der Messwerte lokal verarbeitet und ein Problem meldet, ohne dass ein Telefon oder eine Krankenhausverbindung erforderlich ist. Im Moment sammeln die meisten tragbaren Sensoren Rohdaten und senden sie drahtlos an einen Server, weil der Chip auf dem Sensor zu klein und zu energiehungrig ist, um selbst Analysen durchzuführen. Ein gewichtsloses Netz dreht das um.

Für Keyword-Spotting, den Prozess, bei dem ein Gerät wie ein Alexa-Lautsprecher ständig auf sein Aktivierungswort wartet, verbraucht das Modell ihres Teams 42 bis 79 Nanojoule pro Entscheidung. Das aktuelle branchenweit führende Modell benötigt für dieselbe Aufgabe mehr als 5.000 Nanojoule. Das ist der Unterschied zwischen einem Gerät, das Wochen lang mit einer Batterie hält, und einem, das Tage hält.

Kann dies jemals Chatbots erreichen?

Noch nicht, aber das Team arbeitet daran. Ein Transformer-Modell, die Architektur hinter ChatGPT und den meisten modernen KI-Assistenten, hat zwei Hauptabschnitte, die sich in Sequenz wiederholen: eine Aufmerksamkeitsschicht, die abwägt, wie Wörter miteinander zusammenhängen, und ein Mehrschicht-Perceptron, das Großteil der Zahlenrechnung durchführt. Das Team von John hat die Mehrschicht-Perceptron-Hälfte bereits durch ein nachschlagbasiertes Äquivalent ersetzt. Die Aufmerksamkeitsschicht ist noch ungelöst.

Die Technologie ist auch nicht neu: Ein Unternehmen im Vereinigten Königreich baute in den 1980er Jahren ein kommerzielles Produkt damit für Mustererkennung, dann verschwand der Ansatz weitgehend. Forscher an der Föderalen Universität von Rio de Janeiro hielten die Idee jahrelang still am Leben. Johns Beitrag ist, sie effizient auf echter Hardware zum Laufen zu bringen, zunächst auf einem FPGA, einem flexiblen Chip, der für verschiedene Aufgaben neu konfiguriert werden kann, und jetzt auf speziell angefertigten Substraten.

Das Training findet immer noch auf herkömmlichen GPUs statt, den spezialisierten Zahlenchips, die die meiste KI-Forschung antreiben. Aber da FPGAs bereits kleine Nachschlagetabellen von Haus aus enthalten, glaubt John, dass sie schließlich auch Training übernehmen könnten und den Kreislauf schließen.

Der ehrliche Vorbehalt: Alle bisherigen Ergebnisse stammen aus kleinen, spezifischen Aufgaben. Es gibt noch keine von Experten begutachtete Demonstration für großangelegte Sprachmodelle. John ist darüber offenherzlich. Das Vertrauen, dass es einfach skaliert, ist noch nicht vorhanden, außerhalb ihres eigenen Labors.