ИИ-генерируемые ультраправые мемы наводняют Facebook. Вот как работает эта машина.

Ключевые моменты

• Инструменты ИИ теперь позволяют злоумышленникам создавать сотни политически заряженных мемов в день с минимальными человеческими усилиями.
• Эти посты распространяются наиболее эффективно на Facebook, где алгоритмические рекомендации — автоматизированные системы, определяющие, что вы видите дальше, — отдают предпочтение контенту, вызывающему сильные реакции.
• Контент следует узнаваемой формуле: провокационный заголовок, ИИ-генерируемое изображение, минимальное фактическое обоснование.
• Исследователи и журналисты зафиксировали рост того, что они называют «ИИ-дрянью» — низкокачественным контентом, сгенерированным ИИ исключительно для кликов и вовлечения.

First Dog on the Moon, давно работающая сатирическая комическая серия, опубликованная The Guardian, недавно обратила свой взгляд на тенденцию, которая совсем не забавна: фабрики мемов, использующие искусственный интеллект для наводнения Facebook ультраправым политическим контентом.

Карикатура — острая сатира. История, лежащая в её основе, реальна.

Что именно представляет собой фабрика мемов «ИИ-дрянь»?

Представьте себе конвейер контента, за исключением того, что люди едва его трогают. Кто-то запускает генератор изображений на ИИ — инструмент, который создаёт готовое изображение из краткого текстового описания — и объединяет его с инструментом написания текста на ИИ. Система затем выпускает десятки или сотни постов в день, каждый из которых выглядит как низовое политическое мнение.

Посты часто имеют узнаваемую структуру. Тревожный заголовок. Сгенерированное изображение толпы, флага или политического деятеля. Короткий подпись, предназначенная рассердить вас настолько, чтобы вы поделились ей.

Ничто из этого не требует журналиста, фотографа или даже много времени.

Почему Facebook продолжает показывать этот контент людям?

Алгоритм рекомендаций Facebook — программное обеспечение, которое выбирает, какие посты появляются в вашу ленту, вознаграждает вовлечение. Лайки, репосты и сердитые реакции — всё это считается вовлечением. Контент, предназначенный для провокации сильных эмоций, распространяется среди большего числа людей, что генерирует больше реакций, что толкает его ещё дальше.

Этот цикл обратной связи не новый. Что изменилось, так это предложение. Инструменты ИИ снизили стоимость создания эмоционально заряженного контента почти до нуля.

На что должны обратить внимание читатели?

Несколько признаков обычно появляются вместе в постах «ИИ-дряни». Изображения, которые выглядят почти фотографичными, но имеют странные детали: необычные руки, размытый фоновый текст или лица, которые выглядят слегка неправильно. Подписи, использующие широковещательный эмоциональный язык, но не цитирующие источник. Профили аккаунтов, которые публикуют много раз в день, каждый день, часто на одну и ту же тему.

Если пост заставляет вас захотеть немедленно поделиться им, это стоит обдумать. Обычно это и есть цель.

Подозрительность здесь — не паранойя. Это просто хорошая гигиена чтения в среде, где объём генерируемого контента постоянно растёт, а инструменты для его создания становятся всё дешевле и проще в использовании.

Часто задаваемые вопросы

Является ли этот контент незаконным?

В большинстве стран создание или распространение политических мемов, даже вводящих в заблуждение, не является автоматически незаконным. Там, где это переходит в незаконность, это когда речь идёт о выдаче себя за реальных людей, вмешательстве в выборы или координированном неаутентичном поведении, нарушающем правила платформы.

Может ли Facebook автоматически обнаруживать и удалять этот контент?

Facebook использует автоматизированные системы для обнаружения некоторого контента, сгенерированного ИИ, но инструменты, которые создают посты, совершенствуются примерно с той же скоростью, что и инструменты, которые их обнаруживают. Команды человеческой модерации остаются частью процесса, хотя критики утверждают, что масштабы проблемы превышают текущие возможности модерации.