Patreon начинает блокировать AI-скреперы вместо вежливых просьб
Платформа для авторов объединилась с Cloudflare, чтобы активно блокировать ботов, собирающих работы авторов для обучения моделей AI, отказавшись от старого подхода на основе добровольного соответствия.
Ключевые моменты
- Patreon партнёрствует с Cloudflare, чтобы активно блокировать ботов, которые собирают контент авторов для обучения AI без разрешения.
- Этот шаг выходит за рамки robots.txt — простого текстового файла, используемого веб-сайтами для отпугивания ботов, который компании, работающие с AI, часто игнорируют.
- Cloudflare, гигант интернет-инфраструктуры, находящийся между веб-сайтами и их посетителями, будет определять и блокировать неавторизованные AI-краулеры ещё до того, как они достигнут серверов Patreon.
- Авторы на Patreon, публикующие письменные материалы, искусство, аудио и видео для платящих поклонников, ранее не имели технической защиты от сбора их работ.
Долгие годы веб-сайты использовали файл robots.txt, чтобы велеть автоматизированным ботам держаться подальше. Представьте это как вежливую табличку на входной двери: «Никаких навязываемых предложений». Большинство легитимных ботов её уважали. Многие AI-краулеры — нет.
Patreon решил, что таблички больше недостаточно.
Платформа, на которой размещается платный контент сотен тысяч независимых авторов, теперь сотрудничает с Cloudflare, чтобы физически закрыть эту дверь. Cloudflare находится между веб-сайтом и остальным интернетом, проверяя трафик по мере его поступления. Она может определять ботов — программы, которые автоматически просматривают и копируют веб-страницы — и блокировать те, которые пытаются собрать контент для целей обучения AI.
Согласно первоначальным сообщениям TechCrunch AI, это партнёрство означает, что когда AI-краулер пытается скопировать посты автора, Cloudflare перехватывает его до того, как он когда-либо коснётся серверов Patreon. Без разрешения — нет доступа. Точка.
Это важно для людей, которые зарабатывают на Patreon. Писатель, публикующий главы романа, иллюстратор, делящийся готовыми работами, подкастер, предлагающий эксклюзивные эпизоды для членов подписки — все они размещают контент, который компании, разрабатывающие AI, могли до сих пор тихо копировать и добавлять в наборы данных для обучения. Эти наборы данных обучают модели AI генерировать новые тексты, изображения или аудио, иногда в стилях, которые тесно имитируют оригинальных авторов.
Patreon не опубликовала цифры о том, сколько авторов пострадало от скрепинга, или сколько ботов уже заблокировано с момента начала сотрудничества с Cloudflare. Эти числа было бы интересно отслеживать.
Действительно ли это защищает авторов?
Это защищает их лучше, чем то, что было раньше, а именно практически ничего, что можно было бы применить принудительно. Инструменты обнаружения ботов Cloudflare активно обновляются по мере того, как краулеры разрабатывают новые тактики, чтобы избежать обнаружения, поэтому защита — это не разовое решение, а постоянное усилие.
Этот сдвиг также сигнализирует о чём-то более широком. Patreon — одна из первых крупных платформ для авторов, которая перешла от пассивных методов отказа к активной технической блокировке. Если другие платформы пойдут по этому пути, это может существенно замедлить поток контента авторов в наборы данных для обучения AI без их согласия.
Для авторов: вам сейчас ничего не нужно делать. Блокировка происходит на уровне инфраструктуры, за кулисами. Но стоит знать, что платформа наконец делает что-то, что вы можете измерить, а не что-то, на что вы должны полагаться на веру.
