120 технологических гигантов хотят делиться инцидентами в области кибербезопасности AI до следующей атаки
Новая платформа SAFE позволит компаниям конфиденциально сообщать об ошибках в безопасности AI и обмениваться полученными знаниями, вместо того чтобы каждой страдать в одиночку.
Ключевые моменты
- Более 120 организаций в рамках Open Secure AI Alliance представили платформу SAFE 6 августа 2025 года в день открытия конференции по безопасности Black Hat в Лас-Вегасе.
- SAFE расшифровывается как Shared AI Findings Exchange — набор руководящих принципов для сбора и обмена информацией об инцидентах безопасности AI в отрасли.
- NVIDIA, Cisco, CrowdStrike, Amazon и Visa являются членами альянса, которые предоставляют инструменты и присоединяются к инициативе.
- Linux Foundation координирует период общественных комментариев, чтобы организации могли сформировать рекомендации до их финализации.
- Участвующие компании также выпускают десятки бесплатных инструментов с открытым исходным кодом, специально разработанных для AI-агентов.
Коалиция более 120 технологических компаний предлагает подход к безопасности AI как к общей проблеме, а не как к частному позору.
Группа, называющая себя Open Secure AI Alliance, опубликовала запрос на общественные комментарии к платформе SAFE в среду. SAFE расшифровывается как Shared AI Findings Exchange. Проще говоря, это набор правил для конфиденциального сообщения об инцидентах безопасности, связанных с AI-агентами (программное обеспечение, которое может самостоятельно выполнять многошаговые задачи, такие как бронирование встреч, написание кода или сканирование сети), анализ того, что пошло не так, и публикация уроков, которые может использовать каждая организация.
Объявление было сделано в первый день Black Hat, ежегодной конференции по кибербезопасности, где исследователи рассказывают о новых методах атак и защиты.
Почему это важно для обычных людей?
AI-агенты быстро внедряются на рабочих местах. Банки, больницы, страховые компании и розничные торговцы уже развертывают их. Когда один из них выходит из строя или его обманывают, ущерб может распространяться быстро.
В настоящее время большинство организаций, которые страдают от сбоя безопасности AI, молчат об этом. Это молчание означает, что следующая компания делает ту же ошибку. SAFE изменит это, создав надежный канал для обмена информацией о произошедшем, без указания имен, чтобы защитники везде учились быстрее.
Платформа предлагает четыре конкретных действия: конфиденциально собирать и анализировать инциденты AI и близкие к ним ситуации, уведомлять затронутые стороны, выявлять закономерности в том, как отказывают системы контроля, и публиковать основанные на фактах рекомендации по снижению системных рисков.
Какие инструменты уже распространяются?
Помимо предложения SAFE, члены альянса выпускают бесплатные инструменты прямо сейчас.
NVIDIA, чьи разработки NVIDIA отметила в собственном объявлении, выпустила несколько инструментов. Garak — это бесплатный сканер уязвимостей, инструмент, который проверяет модели AI на слабые места, такие как утечки данных, инъекция подсказок (тип атаки, которая обманывает AI, внедряя скрытые инструкции в его вход) и обход защиты (попытки заставить модель игнорировать её правила безопасности) перед тем, как модель начнет работать. NeMo Guardrails обеспечивает соблюдение политик безопасности во время выполнения. Среда выполнения NVIDIA OpenShell ограничивает то, к чему агент может фактически получить доступ или что может изменить внутри системы.
| Разработчик | Инструмент | Назначение |
|---|---|---|
| NVIDIA | Garak | Сканирует модели AI на наличие уязвимостей перед развертыванием |
| Microsoft | PyRIT | Автоматизирует красное тестирование систем AI |
| Amazon | Cedar | Устанавливает проверяемые, аудируемые ограничения на то, что могут делать агенты |
| Capital One | VulnHunter | Находит недостатки безопасности в коде, сгенерированном AI |
| Visa | Vulnerability Agentic Harness | Помогает командам найти и исправить проблемы безопасности агентов |
| Cisco | Antares SLMs | Небольшие языковые модели, обученные выявлять уязвимости в кодовых базах |
Amazon присоединился к альянсу в день объявления и внес два инструмента: Strands Agents, набор инструментов с открытым исходным кодом для создания AI-агентов, и Cedar, язык с открытым исходным кодом для установления строгих, проверяемых правил о том, что агент может и не может делать.
Visa также присоединилась, внеся тестовый инструмент для уязвимостей, специально разработанный для агентных систем.
Что дальше?
Платформа SAFE остается предложением. Linux Foundation собирает отзывы перед публикацией окончательной версии.
Для компаний, которые уже используют AI-агентов, практический результат заключается в том, что бесплатные, проверенные инструменты безопасности доступны уже сегодня. Команды безопасности не должны ждать финализации руководящих принципов перед использованием Garak, PyRIT или Cedar для укрепления уже развернутого ими оборудования.
Часто задаваемые вопросы
Является ли эта платформа обязательной?
Нет. SAFE — это добровольный набор рекомендаций. Любая организация может выбрать, принять ее, игнорировать или отправить комментарии для её изменения в период открытых отзывов.
Означает ли обмен данными об инцидентах раскрытие частной информации компании?
Предложение специально предусматривает конфиденциальный сбор и анализ, что означает намерение делиться закономерностями и уроками, а не раскрывать, какая компания была затронута или как выглядит её внутренняя система.
Стоят ли эти инструменты денег?
Все инструменты, упомянутые в объявлении, имеют открытый исходный код, то есть их можно бесплатно загружать и использовать. Они опубликованы на платформах, таких как GitHub, чтобы любая команда безопасности могла их проверить и развернуть.
