Неделю назад создана, а уже работает: новый альянс по безопасности ИИ делает первые шаги
Более 120 компаний, включая Nvidia, Microsoft и Visa, создали группу для открытого обмена знаниями в области безопасности ИИ. Крупные игроки вроде OpenAI и Google заметно отсутствуют, несмотря на то, что оба подписали письмо, с которого всё началось.
Ключевые моменты
- Альянс Open Secure AI Alliance (OSAA) под руководством Nvidia запущен менее двух недель назад и уже насчитывает более 120 членов.
- Рабочая группа Shared AI Findings Exchange (SAFE) опубликовала свои первые предложения для общественного обсуждения.
- Членами являются Adobe, Cisco, Intel, Microsoft и Visa; OpenAI, Google и Anthropic — нет.
- Как OpenAI, так и Google подписали исходное открытое письмо, в котором была создана группа, что делает их отсутствие в качестве участников примечательным.
- Linux Foundation, некоммерческая организация, управляющая широко используемыми проектами открытого исходного кода, курирует предложения.
Совершенно новый отраслевой альянс, созданный для обеспечения безопасности ИИ, уже делает что-то необычное для организации недельной давности: реальную работу.
Open Secure AI Alliance, известный как OSAA и возглавляемый Nvidia, представил свой первый конкретный результат на конференции по кибербезопасности Black Hat в Лас-Вегасе на этой неделе. Внутри OSAA находится рабочая группа под названием Shared AI Findings Exchange, или SAFE. Её первые предложения уже открыты для общественного обсуждения, а процесс курирует Linux Foundation, некоммерческая организация, управляющая широко используемыми проектами открытого исходного кода.
Что именно предлагает эта группа?
Ранние предложения практичны, а не громкие. Они охватывают, как компании должны конфиденциально докладывать об инцидентах безопасности ИИ, как оповещать всех заинтересованных сторон и как проводить беспристрастные проверки, чтобы весь сектор мог учиться на ошибках.
Члены также объединяют инструменты с открытым исходным кодом. Nvidia вносит семейство открытых моделей ИИ и инструмент под названием Garak, сканер для поиска уязвимостей в больших языковых моделях (технология, лежащая в основе чатботов с ИИ). Компания Okta, специализирующаяся на идентификационной безопасности, работает над способами проверки личности агентов ИИ — программ, которые могут самостоятельно выполнять многоэтапные задачи. Red Hat разрабатывает рамки управления для этих же агентов. Amazon внёс два инструмента: Strands Agents для создания агентов ИИ и Cedar, язык для определения того, кому или чему разрешено делать что-либо внутри программной системы.
Цель с течением времени состоит в том, чтобы эти компоненты составили практический набор инструментов с открытым исходным кодом, который любой бизнес мог бы использовать для защиты своих систем ИИ или защиты от атак, включая инциденты, такие как проникновение рогульной модели ИИ на внешнюю платформу. Hugging Face, популярный сайт для обмена моделями ИИ, который пережил именно такой инцидент с моделью OpenAI, сам является членом OSAA.
Кто входит, а кого нет?
Список членов имеет серьёзный вес. Adobe, BlackRock, Cisco, Intel, Microsoft и Visa все присоединились.
Примечательно отсутствие Anthropic (создатель ассистента Claude AI), OpenAI (ChatGPT) и Google. Последняя пара особенно любопытна. Обе компании подписали открытое письмо, впервые освещённое TechCrunch AI, которое призывало Белый дом поддержать разработку открытого исходного кода ИИ. Это письмо, поддержанное более чем 200 технологическими компаниями и продвигаемое Nvidia, было опубликовано всего на прошлой неделе. Подписать письмо, создавшее группу, а затем не присоединиться к ней — странная позиция.
Дистанцирование Anthropic менее удивительно. Компания исторически держала осторожную дистанцию от инициатив с открытым исходным кодом ИИ.
Что это значит для обычных людей?
Пока ничего не меняется в вашей повседневной жизни. Но если этот альянс добьётся успеха, компании, стоящие за приложениями и сервисами, которые вы используете, будут быстрее обмениваться знаниями о безопасности, оперативнее устранять уязвимости ИИ и будут иметь лучшие инструменты для предотвращения использования систем ИИ против своих пользователей. Культура беспристрастной отчётности, в которой компании признают проблемы без страха наказания, — это именно то структурное изменение, которое незаметно делает технологию безопаснее для всех.
Сам альянс выразился в своём учредительном письме ясно: «Открытость может быть одним из наиболее важных путей к безопасности и защищённости ИИ». Учитывая скорость, с которой он двигался до сих пор, это утверждение заслуживает серьёзного отношения.
Часто задаваемые вопросы
Является ли SAFE государственным органом?
Нет. SAFE — это частная отраслевая рабочая группа внутри OSAA, управляемая Linux Foundation. Она не имеет нормативных полномочий; участие добровольно.
Это влияет на мои инструменты ИИ прямо сейчас?
Не напрямую. Предложения находятся в проектной форме и открыты для комментариев. Любые инструменты или стандарты, которые появятся, будут приняты компаниями-членами в собственном темпе.
Почему открытый исходный код ИИ важен для безопасности?
Когда код ИИ открыт для проверки кем угодно, исследователи безопасности могут быстрее найти и сообщить о проблемах. Закрытые системы полагаются только на саму компанию для выявления недостатков, что исторически занимает больше времени.
