Сан-Франциско требует от Apple и Google удалить приложения для создания поддельных обнаженных изображений

Ключевые моменты

• Городской прокурор Сан-Франциско Дэвид Чиу направил в четверг судебные уведомления Apple и Google с требованием удалить 13 конкретных приложений из их магазинов.
• К целевым приложениям относятся 8 приложений из App Store компании Apple и 5 приложений из Google Play, все они широко позиционируются как инструменты для "подмены лиц".
• Исследователи Корнеллского и Джорджтаунского университетов выяснили в мае 2025 года, что 70 процентов протестированных ими приложений для подмены лиц могут создавать обнаженные дипфейки без каких-либо проверок безопасности.
• Приложения, выявленные Tech Transparency Project в начале 2025 года, были загружены примерно 480 миллионов раз и принесли предполагаемый доход в 120 миллионов долларов в совокупности.
• Google подтвердил удаление пяти приложений Android, указанных в письме; Apple не прокомментировала ситуацию на момент публикации.

Представьте, что вы загружаете фотографию знакомого вам человека и в течение нескольких секунд получаете поддельное обнаженное изображение этого человека. Это то, что делают эти приложения. Никаких технических навыков не требуется. Просто фотография и пара касаний.

В четверг городской прокурор Сан-Франциско Дэвид Чиу направил письма о прекращении деятельности — формальные судебные требования о прекращении конкретного поведения — компаниям Apple и Google. Он требует, чтобы обе компании немедленно удалили 13 приложений из своих магазинов. Приложения позиционируют себя как инструменты для подмены лиц, но после открытия позволяют пользователям создавать сгенерированные ИИ интимные изображения без согласия, то есть поддельные порнографические фотографии реальных людей, созданные без их ведома или согласия.

По словам офиса Чиу, Apple и Google, вероятно, "заработали миллионы долларов в виде комиссии" на этих приложениях, потому что обе компании получают процент от встроенных покупок. Закон Калифорнии запрещает поддержку услуг, создающих порнографические дипфейки, и в письмах говорится, что компании "подстрекают и способствуют" такому вреду.

"Эти изображения используются для издевательств, унижения и угроз в отношении женщин и девочек", — сказал Чиу в интервью Wired AI, которое первым опубликовало эту историю. "Были жертвы, у которых были суицидальные мысли".

Представитель Google Дэн Джексон подтвердил, что компания удалила пять приложений Android, указанных в письме, а также "сотни" других подобных приложений, и ограничила поисковые запросы, такие как "nudify", внутри своего магазина. Apple не ответила до публикации.

Почему магазины приложений не обнаружили эти приложения ранее?

Apple и Google разработали политику, запрещающую порнографию и издевательства, но приложения постоянно проходят проверку, выдавая себя за безобидные инструменты редактирования. Научная работа от мая 2025 года от Корнеллского и Джорджтаунского университетов протестировала 155 приложений для подмены лиц и выяснила, что 70 процентов из них могут создавать обнаженные дипфейки без функций безопасности, которые это предотвращают. Исследователи назвали эти приложения "двойного назначения", то есть программное обеспечение, которое выглядит безвредным с виду, но может вызвать серьезный вред под поверхностью.

Tech Transparency Project, независимая организация по контролю, сообщила об обнаружении около 100 таких приложений в обоих магазинах в январе и апреле 2025 года. Директор Кэти Пол ясно выразилась: "Apple и Google дают множество обещаний о том, насколько надежны и безопасны их магазины приложений. В действительности это просто не соответствует реальности".

Предыдущие расследования выявили поддельные сексуальные изображения несовершеннолетних, созданные по крайней мере в 90 школах.

Чиу говорит, что его офис будет преследовать Apple и Google в судебном порядке, если они не предпримут действия. "Если они не поступят правильно, нам придется рассмотреть все наши юридические возможности", — сказал он.