Bevor Ihr KI-Assistent diese Überweisung sendet: Weiß er, wie sicher er sich ist?

Wichtige Punkte

• Apple ML Research veröffentlichte eine Studie zur Unsicherheitsquantifizierung (UQ) für KI-Funktionsaufrufe und warnt, dass überconfident KI-Agenten irreversibler Schaden verursachen können.
• Große Sprachmodelle werden zunehmend für reale Aufgaben wie Geldtransfers, Flugbuchungen oder das Löschen von Dateien im Namen eines Benutzers eingesetzt.
• Die Forschung argumentiert, dass die Messung der eigenen Konfidenz eines KI-Modells vor dem Handeln kostspielige, schwer rückgängig zu machende Fehler verhindern könnte.
• Aktuelle Funktionsaufrufsysteme führen Aktionen oft aus, ohne intern zu überprüfen, ob die KI wirklich sicher ist, das Richtige zu tun.

Stellen Sie sich vor, Sie bitten einen Sprachassistenten, Ihre Stromrechnung zu bezahlen. Er hört Ihre Anweisung, entscheidet, welches Bankkonto er verwenden soll, wählt einen Betrag aus und sendet die Zahlung. Erledigt. Außer: Was ist, wenn er Ihre Anweisung missverstanden hat? Was ist, wenn er den zehnfachen Betrag gesendet hat? Das Geld ist weg.

Dies ist das Problem, das Forscher bei Apple ML Research angehen wollten. Ihre Arbeit konzentriert sich darauf, was passiert, wenn ein großes Sprachmodell, die Technologie hinter Chatbots wie ChatGPT und Claude, die Möglichkeit erhält, Funktionen aufzurufen, was bedeutet, dass es in die Welt hinausgreifen und tatsächlich Dinge tun kann, anstatt nur Fragen in einem Chat-Fenster zu beantworten.

Funktionsaufrufe sind bereits überall. Wenn eine KI ein Restaurant bucht, eine Datenbank abfragt oder eine E-Mail in Ihrem Namen sendet, nutzt sie diese Fähigkeit. Der Komfort ist real. Das Risiko auch.

Die Forscher weisen auf eine Lücke hin, die sich kein Benutzer je fragen würde: Weiß die KI, wie sicher sie sich ist, bevor sie handelt? Derzeit überprüfen die meisten Systeme das nicht. Das Modell trifft eine Entscheidung und die Aktion läuft ab, unabhängig davon, ob die KI zu 95 Prozent sicher war oder kaum geraten hat.

Unsicherheitsquantifizierung oder UQ ist der Fachbegriff für die Messung dieses Konfidenzniveaus. Denken Sie an eine Checkliste eines Chirurgen: Bevor du schneidest, bestätigst du, dass du den richtigen Patienten, das richtige Verfahren, die richtige Stelle hast. Die Idee hier ist, KI-Agenten eine ähnliche Pause zu geben, einen eingebauten Moment, in dem das System sich selbst fragt, ob es wirklich sicher genug ist, um fortzufahren.

Dies ist am wichtigsten bei irreversiblen Aktionen. Eine Datei löschen, eine Zahlung senden, ein Abonnement kündigen: Dies sind die Züge, bei denen ein falscher Anruf teuer oder unmöglich rückgängig zu machen ist. Ein sicherer, falscher KI-Agent ist ein viel größeres Problem als ein zögerlicher, der um Bestätigung bittet.

Apple ML Research argumentiert, dass UQ-Methoden in die Funktionsaufrufs-Pipeline selbst integriert werden sollten, nicht nachträglich hinzugefügt.

Sollten sich gewöhnliche Benutzer jetzt Sorgen machen?

Nicht unmittelbar, aber Sie sollten darauf achten, welche Aufgaben Sie KI-Agenten übertragen. Das Risiko wächst, wenn KI-Tools mehr Zugriff auf Ihre Konten, Dateien und Dienste erhalten. Einige praktische Dinge, auf die man achten sollte:

• Wenn eine App KI-Automatisierung für finanzielle Aktionen anbietet, überprüfen Sie, ob sie Sie vor Abschluss einer Transaktion zur Bestätigung auffordert.
• Seien Sie vorsichtig, wenn Sie KI-Tools umfangreiche Berechtigungen erteilen. Eingeschränkter Zugriff, begrenzt auf die eine Aufgabe, die Sie benötigen, reduziert das Schadensausmaß eines Fehlers.
• Wenn ein KI-Assistent auf unerwartete Weise handelt, melden Sie dies über den Feedback-Kanal der App. Diese Berichte helfen Forschern wirklich dabei, Fehlerfälle zu finden.

Die Forscher sagen nicht, dass KI-Agenten zu gefährlich sind, um sie zu nutzen. Sie sagen, dass die Tools eine Konfidenzprüfung brauchen, bevor sie handeln. Das ist eine vernünftige Forderung.