OpenAI сказала, что GPT-2 слишком опасна для выпуска. Стоило ли верить?
Давняя критика исследователя в адрес объявления OpenAI о безопасности 2019 года поднимает вопрос, который остаётся актуальным: когда компания, занимающаяся ИИ, предупреждает мир о собственной технологии, кто на этом выигрывает?
Ключевые моменты
- 14 февраля 2019 года OpenAI объявила о языковой модели GPT-2, но отказалась выпускать её публично, заявив, что риски злоупотребления слишком велики.
- GPT-2 была прямым предшественником моделей, которые сейчас работают в ChatGPT, Claude и подобных чат-ботах на основе ИИ.
- По крайней мере один исследователь счёл объявление неполезным, а озвученные риски преувеличенными.
- Этот эпизод раскрывает тревожную закономерность: компании в сфере ИИ, говорящие об опасности, одновременно говорят о мощи и привлекают инвестиции.
Что на самом деле произошло в 2019 году?
OpenAI создала языковую модель — тип программного обеспечения, обученный на огромных объёмах текста, чтобы писать, резюмировать и отвечать на вопросы, — а затем объявила о ней миру, отказываясь её делиться. Компания назвала модель GPT-2 и сказала, что её просто слишком рискованно выпускать в руки публики.
Беспокойство, как его сформулировала OpenAI, касалось злоупотреблений. Злоумышленники могли бы использовать GPT-2 для написания поддельных новостей в массовом масштабе или наводнить интернет убедительной дезинформацией. В теории — разумный страх.
На практике по крайней мере один исследователь остался разочарован. Написав в The Guardian, исследователь из Стэнфорда Джон Тикстун вспоминает, что тогда был раздражён. Без доступа к самой модели он не мог её изучать, тестировать или многому от неё учиться. Предупреждение было громким; содержание — тонким.
Кто выигрывает, когда компания в сфере ИИ бьёт тревогу?
Это более острый вопрос, и Тикстун ставит его напрямую.
Рассказать миру, что ваша технология опасна — это также незаметно рассказать миру, что ваша технология мощна. Мощная технология привлекает инвесторов. Инвесторы выписывают большие чеки. Компания, которая только что предупредила всех об опасности своего ИИ, теперь лучше финансируется для создания большего его количества.
Это не теория заговора. Это просто стимул, на который стоит обратить внимание.
GPT-2 в конечном итоге была полностью выпущена поэтапно позже в 2019 году. Катастрофическое злоупотребление, которого OpenAI опасалась, не произошло ни в каком очевидном, документированном масштабе. Модель стала исследовательским инструментом. Её последователи, GPT-3, а затем GPT-4, стали двигателем продуктов, используемых сегодня сотнями миллионов людей.
Означает ли это, что предупреждения о безопасности всегда ошибочны?
Нет. Некоторые риски ИИ реальны, и некоторые предупреждения заслуживают серьёзного внимания. Дело не в том, чтобы отвергать каждое предостережение из каждой лаборатории.
Дело в том, чтобы спросить, кто говорит, что они могут получить и может ли содержание предупреждения действительно проверить посторонний. Утверждение о безопасности, подкреплённое опубликованными исследованиями и независимой проверкой, — это совершенно другое дело, чем пресс-релиз без приложенной модели.
Когда компания в сфере ИИ в следующий раз объявит, что её последняя система одновременно ужасающе способна и слишком чувствительна для открытого доступа, стоит остановиться. Спросите, что исследователи могут проверить без участия компании. Спросите, кто финансирует следующий раунд инвестиций после выхода заголовков. Спросите, описана ли опасность конкретно и измеримо, или это просто яркие неясные формулировки.
Любопытство и скептицизм — это не противоположность серьёзного отношения к ИИ. Это то, как серьёзное отношение к нему на самом деле выглядит.
