Müssen KI-Modelle wirklich alles vergessen? Apple-Forscher sagen nein
Eine neue Studie zeigt, dass vieles, das wir KI „verlernen" lassen, das Modell von Anfang an kaum beeinflusst hat – was die Kosten für Datenschutzmaßnahmen dramatisch senken könnte.
Wichtigste Punkte
- Apple ML Research identifizierte Teilmengen von Trainingsdaten, die so wenig Einfluss auf die Ausgaben eines Modells haben, dass ihre Entfernung möglicherweise unnötig ist.
- Aktuelle KI-Verlernen-Methoden behandeln alle Daten gleich, obwohl einige Daten fast keine Auswirkung auf das Modellverhalten haben.
- Das Überspringen der Entfernung dieser gering beeinflussten Datenpunkte könnte die Rechenzeit und Kosten datenschutzbezogener Modellaktualisierungen reduzieren.
- Die Ergebnisse gelten sowohl für Sprachmodelle (die Art, die Chatbots antreibt) als auch für Bilderkennungsmodelle (KI, die Bilder analysiert).
Wenn Sie ein Unternehmen auffordern, Ihre Daten zu löschen, nehmen Sie wahrscheinlich an, dass sich die KI, die darauf trainiert wurde, verändern wird. Forscher bei Apple ML Research deuten nun darauf hin, dass diese Annahme oft falsch ist – und diese Diskrepanz zwischen Erwartung und Realität könnte tatsächlich eine Menge Geld sparen.
Hier ist der Hintergrund. KI-Modelle lernen, indem sie enorme Datenmengen verarbeiten. Nach dem Training hinterlassen einige dieser Daten einen starken Fingerabdruck auf das Modellverhalten. Andere Daten registrieren kaum etwas. Die neue Forschung konzentriert sich auf diese zweite Kategorie.
Der Fachbegriff, den Forscher verwenden, ist Machine Unlearning, was bedeutet, ein trainiertes KI-Modell so zu unterrichten, dass es sich verhält, als hätte es ein bestimmtes Datenelement nie gesehen. Datenschutzgesetze in mehreren Ländern treiben Unternehmen bereits zu dieser Fähigkeit. Das Problem besteht darin, dass aktuelle Verlernen-Methoden teuer sind. Sie behandeln jeden Eintrag auf der „Vergessen-Liste" auf die gleiche Weise, unabhängig davon, ob dieser Eintrag das Modell stark beeinflusste oder es kaum berührte.
Das Apple-Team nutzte ein Tool namens Influence Functions, eine Technik, die misst, wie sehr ein einzelnes Trainingsbeispiel das endgültige Modellverhalten tatsächlich verändert hat. Stellen Sie es sich vor wie das Überprüfen von Belegen nach einer Party: Einige Einkäufe bewegten die Gesamtrechnung erheblich, andere waren so klein, dass sie Rauschen waren. Die Forscher stellten fest, dass ein bedeutsamer Anteil der Trainingsdaten in diese Rausch-Kategorie fällt.
Ihr Argument ist direkt: Wenn ein Datenpunkt einen vernachlässigbaren Einfluss auf das Modell hatte, führt das Überspringen seiner formalen Entfernung zu nahezu identischen Ergebnissen wie das vollständige Löschen, aber zu einem Bruchteil der Rechenkosten. GPUs, die spezialisierte Chips, die die intensiven Berechnungen durchführen, die KI benötigt, sind teuer zu betreiben. Jede Methode, die die GPU-Stunden reduziert, führt zu echten Einsparungen.
Die Erkenntnis zeigte sich in zwei verschiedenen KI-Aufgabentypen: Sprache und Bilderkennung.
Bedeutet das, dass Unternehmen Löschanfragen ignorieren können?
Nein. Die Forschung gibt Unternehmen keine rechtliche Freistellung, Datenschutzanfragen zu ignorieren. Was sie nahelegt, ist, dass Ingenieure, die Verlernen-Tools entwickeln, Datenpunkte mit hohem Einfluss priorisieren und gering beeinflusste Punkte sicher schnell abwickeln könnten, wodurch Kosten gesenkt würden, ohne das Ergebnis zu beeinträchtigen.
Für gewöhnliche Menschen ist die ehrliche Implikation folgende: Die Daten, die Sie zu einem KI-System beitragen, beeinflussen dieses System nicht gleich. Ihre Interaktion könnte prägend sein oder einfach statistisches Rauschen.
Survivorship Bias ist hier auch erwähnenswert. Die Forscher identifizierten die gering beeinflussten Fälle, aber die schwierige und teure Arbeit bleibt für Daten mit hohem Einfluss bestehen – genau die sensiblen Aufzeichnungen, die in einem echten Datenschutzstreit am wahrscheinlichsten relevant sind.
Fazit: Wenn Sie in einem Unternehmen arbeiten, das KI-Modelle und Benutzerdaten verwaltet, fragen Sie Ihr technisches Team, welche Daten in Ihrem Trainingsset tatsächlich einen Unterschied machen. Sie zahlen möglicherweise dafür, Dinge zu „vergessen", die das Modell nie wirklich gelernt hat.
