KI-Modelle müssen nicht alles vergessen: Der Fall für intelligenteres Vergessenlassen

Wichtige Punkte

• Apple ML Research veröffentlichte eine Studie, die zeigt, dass einige Trainingsdatenpunkte einen vernachlässigbaren Einfluss auf die Ausgaben eines KI-Modells haben.
• Aktuelle Vergessenlassen-Methoden behandeln jeden Datenpunkt als gleich wichtig, was die Forschung als rechnerisch verschwenderisch kritisiert.
• Die Ergebnisse könnten die Kosten der Datenschutzcompliance für Unternehmen, die mit Daten von Einzelpersonen trainierte KI nutzen, senken.
• Die Studie verwendete Einflussfunktionen über Sprach- und Bilderkennungsaufgaben hinweg, um Daten mit geringem Einfluss zu identifizieren.

Was ist KI-Vergessenlassen und warum ist es wichtig?

KI-Vergessenlassen ist der Prozess des Entfernens einer bestimmten Information aus einem bereits trainierten Modell, ohne das Modell von Grund auf neu aufbauen zu müssen. Stellen Sie sich vor, Sie versuchen, jemanden dazu zu bringen, eine Telefonnummer zu vergessen, ohne sein gesamtes Gedächtnis zu löschen.

Dies ist wichtig, weil Datenschutzgesetze in vielen Ländern Menschen das Recht geben, ihre persönlichen Daten zu löschen. Wenn Ihre Informationen zum Trainieren eines KI-Systems verwendet wurden, kann ein Unternehmen gesetzlich verpflichtet sein, sie zu entfernen. Das Umtraining eines großen Modells von Grund auf ist teuer. Wirklich teuer. Daher entwickeln Forscher „Vergessenlassen"-Abkürzungen, um den Prozess zu beschleunigen.

Der heutige Standardansatz löscht jeden gekennzeichneten Datenpunkt mit dem gleichen Aufwand, unabhängig davon, wie sehr er das Modell tatsächlich während des Trainings geprägt hat. Ein Foto von Ihnen, das das Modell während des Trainings kaum beeinflusste, durchläuft den gleichen kostspieligen Entfernungsprozess wie eines, das sich das Modell tief eingeprägt hat.

Was haben die Forscher tatsächlich herausgefunden?

Sie stellten fest, dass nicht alle Datenpunkte den gleichen Fußabdruck hinterlassen. Viele hinterlassen fast gar keinen.

Das Team verwendete ein Tool namens Einflussfunktionen, eine mathematische Methode, die abschätzt, wie sehr ein einzelnes Trainingsbeispiel das endgültige Verhalten des Modells beeinflusst hat. In Text- und Bildaufgaben angewendet, ergab die Analyse durchweg eine Teilmenge von Trainingsbeispielen, deren Einflusswert so nahe bei Null lag, dass deren Entfernung keinen messbaren Unterschied in den Ausgaben des Modells machte.

Die Schlussfolgerung: Diese Punkte sind praktisch „bereits vergessen". Sie wie hocheinflussreiche Daten zu behandeln, verschwendet Rechenzeit und damit Geld.

Was bedeutet das für Unternehmen und normale Benutzer?

Für Unternehmen besteht die praktische Folge in niedrigeren Compliance-Kosten. Wenn eine Datenschutzanfrage eingeht und sich herausstellt, dass die gekennzeichneten Daten einen geringen Einfluss haben, benötigt das Modell möglicherweise überhaupt keinen kostspieligen Vergessenlassen-Prozess.

Für Einzelpersonen, die ein Unternehmen aufgefordert haben, ihre Daten aus einem KI-System zu löschen, bedeutet diese Forschung nicht, dass ihre Anfrage ignoriert wird. Dies bedeutet, dass Ingenieure eines Tages intelligentere Tools verwenden könnten, um zu überprüfen, dass die Daten tatsächlich keinen Einfluss hatten, anstatt einen pauschalen Löschungsprozess durchzuführen.

Es ist ehrlich gesagt wichtig zu sagen, was wir noch nicht wissen. Die Forschung ist eine vergleichende Analyse, keine Produktversion oder ein eingesetztes System. Datenschutzgesetze in der Praxis haben derzeit keine „vernachlässigbarer Einfluss"-Ausnahme, und Regulatoren könnten eine mathematische Bewertung nicht als Beweis akzeptieren, dass Daten wirklich gelöscht wurden. Diese Fragen sind noch offen.

Was passiert als Nächstes?

Effizientes Vergessenlassen ist ein schnelllebiges Forschungsgebiet, und diese Arbeit fügt ihm einen praktischen Blickwinkel hinzu: Bevor Sie Geld für das Entfernen von Daten ausgeben, überprüfen Sie, ob die Daten überhaupt eine Rolle gespielt haben. Dieses Konzept könnte den Ansatz des gesamten Feldes zur Lösung des Problems verändern.

Eine ehrliche Erkenntnis: Wenn Ihr Unternehmen persönliche Daten speichert, die in ein KI-Modell einfließen, beginnen Sie, eine Übersicht über das zu führen, was Sie tatsächlich sammeln. Je weniger unnötige Daten Sie trainieren, desto kleiner wird Ihr Vergessenlassen-Problem später.