Forscher machen Lieblingwaffe von Hackern gegen diese selbst einsatzbereit

Wichtigste Punkte

• Tracebit-Forscher veröffentlichten am Montag Ergebnisse, die zeigen, dass Prompt-Injektionen als defensive Falle gegen KI-Hacking-Agenten eingesetzt werden können.
• Die Technik funktioniert, indem versteckte Anweisungen neben Passwörtern und kryptographischen Schlüsseln hinterlegt werden, die auf Amazon Web Services (AWS), Amazons Cloud-Computing-Plattform, gespeichert sind.
• Die versteckten Anweisungen veranlassen eine angreifende KI, etwas zu versuchen, das ihre eigenen Sicherheitsregeln verbieten, wodurch sie stoppt.
• Auf der Seite des Angreifers sind keine Patches oder Software-Updates erforderlich; die eingebauten Sicherheitsbarrieren der KI leisten die Hauptarbeit.

Jahrelang haben Angreifer einen Trick namens Prompt-Injektion verwendet, um KI-Assistenten zu kapern. Eine Prompt-Injektion ist eine versteckte Anweisung, die in gewöhnliche Inhalte wie eine E-Mail oder eine Kalendereinladung eingebettet ist und der KI befielt, etwas zu tun, das ihr Besitzer nie beabsichtigt hat. Die KI liest die Anweisung, behandelt sie als legitim und befolgt sie. Vertrauliche Daten werden offengelegt. Es entsteht Schaden.

Nun hat ein Sicherheitsunternehmen namens Tracebit den Trick umgekehrt.

Am Montag berichteten Tracebit-Forscher, wie erstmals von Ars Technica AI berichtet, dass sie einen Weg gefunden hatten, Prompt-Injektionen als Falle statt als Waffe zu nutzen. Die Idee ist einfach. Sie platzieren eine sorgfältig formulierte versteckte Anweisung direkt neben den Passwörtern, kryptographischen Schlüsseln (lange Zeichenketten, die verschlüsselte Daten sperren und entsperren) und anderen auf AWS gespeicherten Geheimnissen. Wenn ein KI-gestützter Hacking-Agent, Software, die mehrstufige Angriffe eigenständig ausführen kann, eindringt und diese Zugangsdaten liest, liest er auch Ihre Anweisung.

Diese Anweisung befielt der angreifenden KI, etwas zu tun, das ihre Entwickler ausdrücklich verboten haben.

KI-Unternehmen bauen sogenannte Schutzvorrichtungen in ihre Modelle ein. Denken Sie an Schutzvorrichtungen als eingebautes Gewissen: eine Reihe von Regeln, die die KI daran hindern, bestimmte Grenzen zu überschreiten, wie etwa jemandem zu helfen, Schaden anzurichten. Wenn die gefangene KI versucht, den eingespielten Befehl zu befolgen, trifft sie auf eine dieser Grenzen. Sie stoppt. Der Angriff endet.

Es ist ein elegantes Stück Sicherheits-Judo. Das eigene Werkzeug des Angreifers wird zur Abwehr.

Der Ansatz gehört zu einer breiteren Kategorie namens Honeytokens oder Canary Tokens, Attrappenzugangsdaten, die an Orten hinterlegt sind, wo Angreifer wahrscheinlich suchen. Wenn jemand sie berührt, wissen Sie, dass ein Verstoß im Gange ist. Tracbits Version erfüllt dieselbe Aufgabe, unterbricht aber auch aktiv den Angreifer, anstatt nur einen Alarm auszulösen.

Bedeutet das, dass KI-Hacking gelöst ist?

Nein. Diese Technik funktioniert speziell gegen KI-Agenten, die auf großen Sprachmodellen beruhen, der Technologie hinter Tools wie ChatGPT, weil diese Modelle eingebaute Sicherheitsregeln haben, die ausgelöst werden können. Ein menschlicher Angreifer oder eine abgespeckte KI ohne Schutzvorrichtungen würde die eingespritzte Anweisung völlig ignorieren. Die Erkenntnis ist vielversprechend, aber sie ist nur eine Verteidigungsebene, nicht eine vollständige Lösung.

Für Organisationen, die vertrauliche Zugangsdaten in Cloud-Umgebungen speichern, ist die praktische Schlussfolgerung beachtenswert: Selbst Ihre Attrappendaten können sich jetzt wehren.