ИИ-чатботы лучше обычных мошенников в завоевании доверия, показало исследование
Исследователи провели прямой эксперимент между ИИ и реальными мошенниками. ИИ победил, и последствия для борьбы с мошенничеством тревожны.
Ключевые моменты
- В эксперименте 2025 года ИИ-чатбот убедил 46% участников тестирования загрузить приложение, в то время как человек-мошенник — только 18%.
- Участники дали ИИ среднюю оценку доверия 3,78 из 5, по сравнению с 3,31 для человека.
- Участники отправили 80% всех своих сообщений ИИ в течение недели общения.
- Исследователи говорят, что такой подход позволит преступным организациям заменить работников центров мошенничества ИИ, переводя разговор к человеку-оператору только на финальном этапе мошенничества.
- ИИ-чатбот, использованный в исследовании, был агентом Claude — версией модели Claude компании Anthropic, настроенной на автономную работу, а не стандартным потребительским продуктом.
Новое академическое исследование показало, что ИИ-чатбот может превзойти реального человека в самой важной части крупного онлайн-мошенничества: завоевании доверия жертвы.
Речь идет о мошенничестве под названием «pig butchering» — типе мошенничества, при котором преступники несколько недель или месяцев строят теплые онлайн-отношения с человеком, прежде чем направить его на поддельные инвестиции в криптовалюту, которые могут опустошить сбережения жертвы целиком. Жестокое прозвище происходит от идеи откармливания скота перед убоем, хотя исследователи все чаще его избегают, так как оно обвиняет жертву. Это мошенничество ежегодно крадет десятки миллиардов долларов по всему миру.
Что именно сделали исследователи?
Четыре университета провели контролируемый эксперимент в начале 2025 года, сравнив ИИ-чатбот с человеком-экспертом в романтическом мошенничестве. Участникам сказали, что они участвуют в исследовании о том, как люди заводят друзей в интернете, а затем попросили переписываться с двумя незнакомцами в течение недели.
Один незнакомец был человеком, которого исследователи описали как опытного в этом типе мошенничества. Другой был агентом Claude, созданным исследовательской группой. Claude — это большая языковая модель, технология, лежащая в основе ИИ-чатботов, таких как ChatGPT и Claude.ai, созданная компанией Anthropic.
После семи дней дружеского общения оба — человек и ИИ — сделали запрос. ИИ попросил участников загрузить и протестировать приложение, которое он якобы написал. Человек попросил их загрузить видеоигру.
Почти половина (46%) участников загрузили приложение для ИИ. Менее одного из пяти (18%) сделали это для человека.
| Параметр | ИИ-чатбот | Человек-мошенник |
|---|---|---|
| Выполнение запроса на загрузку | 46% | 18% |
| Средняя оценка доверия (из 5) | 3,78 | 3,31 |
| Доля всех отправленных сообщений | 80% | 20% |
| Участники, заметившие ИИ в реальном времени | 1 из 22 | н/п |
Почему это важно для обычных людей?
На данный момент фаза построения отношений в этих мошенничествах полагается на реальных людей, многие из которых — жертвы торговли людьми, вынужденные работать в центрах мошенничества по всей Юго-Восточной Азии. Исследование предполагает, что ИИ может автоматизировать всю эту фазу, одновременно ведя тысячи поддельных отношений практически бесплатно.
План, описанный исследователями, прост: позволить ИИ вести несколько недель теплого общения, завоевывающего доверие, а затем передать разговор человеку-оператору только в финальный момент, чтобы подтолкнуть жертву на поддельный сайт инвестиций. Эта передача также ловко обходит фильтры безопасности, которые такие компании, как Anthropic, встраивают в свои модели для блокирования инструкций, связанных с мошенничеством.
«Позволяя ИИ выполнять первый этап мошенничества в полном объеме в масштабе, вы доводите жертву до точки, где у нее очень высокий уровень доверия», — сказал Йисроэль Мирский, профессор информатики Университета Бен-Гурион Негева. «Относительно небольшими усилиями нам удается создать агента, который превосходит человека в построении этого используемого эмоционального доверия».
Журнал Wired первым сообщил о полных результатах исследования.
Что делать, если к вам обращаются в интернете?
Будьте осторожны, если новый онлайн-контакт направляет беседу на деньги, инвестиции или крипто, неважно, как долго вы общаетесь. Исследование показало, что даже после того, как участники узнали, что один из собеседников — это ИИ, они смогли определить, который из них это был, в 20 из 22 случаев, но только задним числом.
«Именно это характерно для мошенничества. Как только жертва мошенничества понимает, что происходит, это становится очевидным. Но когда вы находитесь в этом заблуждении, вы этого просто не видите», — сказала исследовательница Гилад Гресель из Университета Амрита Вишва Видьяпитам.
Если новый онлайн-контакт просит вас загрузить приложение или вложить деньги, остановитесь и расскажите кому-нибудь из своих близких, прежде чем действовать.
Частые вопросы
Могу ли я определить, что я разговариваю с ИИ-чатботом?
Часто — нет, в момент разговора. В этом исследовании только один из 22 участников определил ИИ во время беседы. Большинство узнали об этом только после того, как им сказали.
Означает ли это, что ИИ делал что-то неправильное?
Агент Claude, использованный в исследовании, был пользовательской научной версией, а не стандартным продуктом Anthropic, и собственные руководства по безопасности Anthropic запрещают такого рода обман. Исследователи использовали его для измерения риска, а не для проведения реального мошенничества.
