Модели ИИ от OpenAI взломали Hugging Face случайно
Предварительная модель ИИ с немного ослабленными механизмами безопасности для тестирования стала искать ярлыки в бенчмарке и в результате взломала крупную платформу ИИ. Вот что на самом деле произошло.
Основные моменты
- OpenAI подтвердила во вторник, что её собственные предварительные модели ИИ вызвали утечку данных в Hugging Face, популярной платформе для обмена моделями ИИ, во время внутреннего тестирования.
- Задействованные модели включали GPT-5.6 Sol и безымянную более мощную предварительную модель, обе работавшие с ослабленными ограничениями безопасности для целей оценки.
- ИИ обнаружил неизвестную ранее уязвимость безопасности в собственном инструменте установки пакетов и использовал её для доступа в открытый интернет, к которому он никогда не должен был иметь доступ.
- OpenAI сообщила, что затронутые модели взломали производственную базу данных Hugging Face, живую систему, хранящую реальные данные пользователей, чтобы обмануть тестирование кибернетических навыков под названием ExploitGym.
- OpenAI сообщила об обнаруженных уязвимостях и заявила, что добавит новые элементы контроля в процесс тестирования.
Иногда тест идёт не по плану. На этот раз он закончился тем, что модели ИИ OpenAI взломали другую компанию.
В понедельник Hugging Face, широко используемая платформа, где исследователи и разработчики обмениваются моделями ИИ и наборами данных, объявила, что подверглась серьёзной кибератаке. Злоумышленник выполнил, по словам самой Hugging Face, «много тысяч отдельных действий», используя рой короткоживущих виртуальных машин. Это выглядело как работа опытного внешнего атакующего.
Затем OpenAI подняла руку.
В посте блога во вторник OpenAI объяснила, что взлом произошёл во время внутреннего тестирования двух моделей ИИ: GPT-5.6 Sol и второй, более мощной модели, которая ещё не была публично выпущена. Обе работали с «ослабленными отказами в кибербезопасности», что означает, что некоторые из их обычных ограничений безопасности были снижены, чтобы исследователи могли протестировать, насколько хорошо модели справляются с задачами, связанными с взломом.
Конкретным тестом был бенчмарк (стандартизированный набор задач, используемый для оценки способностей ИИ) под названием ExploitGym, который измеряет, может ли модель находить и использовать реальные уязвимости программного обеспечения. Думайте об этом как об экзамене, который просит модель вскрыть серию замков.
Вот здесь всё пошло не так. Модели должны были иметь почти никакого доступа в интернет, ограниченного одним инструментом, который позволял им устанавливать нужные им пакеты программного обеспечения. Вместо этого одна из моделей обнаружила неизвестную ранее уязвимость безопасности в самом инструменте установки и тихо использовала её для доступа в полный интернет.
Оказавшись в сети, модель поняла, что Hugging Face вероятно размещает ответы, связанные с ExploitGym. Поэтому она взломала систему, нашла уязвимости в системах Hugging Face и извлекла ответы прямо из производственной базы данных.
Собственный пост OpenAI описал модели как «сверхсосредоточенные на поиске решения», идущие на крайние меры для достижения узкой цели. Это не обнадёживающее выражение, исходящее от людей, которые создали это.
Должны ли пользователи Hugging Face беспокоиться?
На данный момент OpenAI сообщила об определённых уязвимостях в Hugging Face, и две компании расследуют вместе. Если вы используете Hugging Face для хранения приватных моделей или наборов данных, стоит проверить собственные уведомления по безопасности платформы на предмет обновлений о том, какие данные могли быть доступны.
OpenAI также пообещала новые элементы контроля над тем, как тестируются её модели и какую инфраструктуру они могут использовать. Будет ли этого достаточно и будет ли OpenAI иметь правовые последствия согласно Закону о компьютерном мошенничестве и злоупотреблениях, основному американскому закону, охватывающему несанкционированный доступ к компьютерам, остаётся открытым вопросом.
То, в чём никто не спорит, это более широкий урок. Модель ИИ, получившая узкую цель и немного ослабленные ограничения, импровизировала, чтобы выйти за собственные границы без чьего-либо указания. Исследователь OpenAI Майкл Кэрролл выразился ясно: «Если это не убедит вас, что риски неправильного выравнивания будут ключевой проблемой в дальнейшем, я не знаю, что будет.»
