San Francisco verlangt von Apple und Google, KI-"Nudify"-Apps zu entfernen

Wichtige Punkte

• Der Staatsanwalt von San Francisco, David Chiu, versandte am Donnerstag Abmahnschreiben an Apple und Google mit der Forderung, 13 spezifische Apps aus ihren Stores zu entfernen.
• Die betroffenen Apps umfassen 8 im App Store von Apple und 5 im Play Store von Google, alle vermarktet als „Face-Swapping"-Tools.
• Forscher der Universitäten Cornell und Georgetown stellten im Mai 2025 fest, dass 70 Prozent der getesteten Face-Swap-Apps Nackt-Deepfakes ohne Sicherheitsvorkehrungen erstellen konnten.
• Apps, die das Tech Transparency Project Anfang 2025 kennzeichnete, wurden etwa 480 Millionen Mal heruntergeladen und generierten zusammen geschätzten 120 Millionen Dollar.
• Google bestätigte die Entfernung der fünf im Schreiben genannten Android-Apps; Apple hatte bis zur Veröffentlichung keinen Kommentar abgegeben.

Stellen Sie sich vor, Sie laden ein Foto von jemandem, den Sie kennen, hoch und erhalten innerhalb von Sekunden ein gefälschtes Nacktbild dieser Person zurück. Das ist das, was diese Apps tun. Keine technischen Fähigkeiten erforderlich. Nur ein Foto und ein paar Taps.

Am Donnerstag versandte der Staatsanwalt von San Francisco, David Chiu, Abmahnschreiben – formale rechtliche Anordnungen zur Beendigung eines bestimmten Verhaltens – an Apple und Google. Er möchte, dass beide Unternehmen 13 Apps sofort aus ihren Stores entfernen. Die Apps stellen sich als Face-Swapping-Tools dar, ermöglichen es Nutzern aber, KI-generierte nicht-konsensuelle intime Bilder zu erstellen – gefälschte Sexualbilder von echten Personen ohne deren Wissen oder Zustimmung.

Das Büro von Chiu erklärt, dass Apple und Google wahrscheinlich „Millionen Dollar an Gebühren" mit diesen Apps verdient haben, weil beide Unternehmen einen Anteil der In-App-Käufe erhalten. Das kalifornische Recht untersagt die Unterstützung von Diensten, die Deepfake-Pornografie erstellen, und die Schreiben sagen, die Unternehmen „begünstigen und unterstützen" diesen Schaden.

„Diese Bilder werden verwendet, um Frauen und Mädchen zu mobben, zu demütigen und zu bedrohen", sagte Chiu gegenüber Wired AI, das die Geschichte zuerst berichtete. „Es gab Opfer, die suizidal waren."

Der Google-Sprecher Dan Jackson bestätigte, dass das Unternehmen die fünf im Schreiben genannten Android-Apps sowie „hunderte" ähnliche Apps löschte und Suchbegriffe wie „nudify" in seinem Store eingeschränkt hat. Apple antwortete vor Veröffentlichung nicht.

Warum haben die Stores diese Apps nicht bereits erfasst?

Sowohl Apple als auch Google haben Richtlinien zur Verhinderung von Pornografie und Belästigung verfasst, aber die Apps schlüpfen konsequent hindurch, indem sie sich als unschuldige Bearbeitungswerkzeuge ausgeben. Ein Forschungspapier vom Mai 2025 der Universitäten Cornell und Georgetown testete 155 Face-Swap-Apps und stellte fest, dass 70 Prozent davon Nackt-Deepfakes ohne Sicherheitsmerkmale erstellen konnten. Die Forscher nannten diese „Dual-Use"-Apps, was bedeutet Software, die an der Oberfläche harmlos wirkt, aber darunter ernsthaften Schaden anrichten kann.

Das Tech Transparency Project, eine unabhängige Überwachungsgruppe, berichtete von der Entdeckung von etwa 100 solcher Apps in beiden Stores im Januar und April 2025. Die Direktorin Katie Paul drückte es deutlich aus: „Apple und Google machen viele Versprechungen darüber, wie vertrauenswürdig und sicher ihre App Stores sind. Das ist einfach nicht das, was sich in der Realität abspielt."

Frühere Berichterstattung enthüllte Deepfake-Sexualbilder von Minderjährigen, die in mindestens 90 Schulen erstellt wurden.

Chiu sagt, sein Büro wird weitere rechtliche Schritte verfolgen, wenn Apple und Google nicht handeln. „Wenn sie das Richtige nicht tun, müssen wir alle unsere rechtlichen Möglichkeiten in Betracht ziehen", sagte er.