Проверка правил справедливости ИИ — это просто. Доказать, что они работают — совсем другое дело

Ключевые моменты

• Исследователи Apple ML Research опубликовали результаты, показывающие, что тестирование и верификация свойств инвариантных к локализации — класса математических правил о том, как системы ИИ обрабатывают данные — работают по-разному.
• Отношение, которое облегчило тестирование этих свойств, оказывается бесполезным, когда цель смещается на верификацию, установившую более строгий стандарт доказательства.
• Этот разрыв важен для тех, кто пытается убедиться, что модель ИИ обращается с похожими входными данными последовательно — проблема, лежащая в основе аудита справедливости и надёжности.
• Работа носит теоретический характер, но имеет практические последствия для регуляторов и разработчиков, которые полагаются на статистические ярлыки при аудите поведения ИИ в масштабе.

В основе многих аудитов ИИ лежит тихое предположение: если две математические задачи выглядят структурно похожими, то умное решение одной должно перейти и на другую. Новая теоретическая работа Apple ML Research показывает, что это предположение может провалиться так, как это действительно важно.

Исследование сосредоточено на том, что называется свойствами инвариантными к локализации. Это формальное название для простой идеи: правило о функции, математическом объекте, который отображает входные данные на выходные, которое заботит только как часто появляется каждое значение выхода, а не где оно появляется. Представьте себе оценку плейлиста по количеству раз, когда проигрывается каждая песня, независимо от порядка.

Оказывается, что тестирование того, есть ли у функции такое свойство, тесно связано с тестированием того, имеет ли распределение вероятностей — описание того, насколько вероятны различные результаты — соответствующее свойство. Исследователи знали об этом годами и находили это полезным. Это означало, что методы из одной области могли перейти в другую.

Но новая статья проводит чёткую линию при верификации.

Верификация строже, чем тестирование. Тестирование проверяет свойство выборкой: вы смотрите на ограниченное количество входных данных и решаете, вероятно ли соблюдается правило. Верификация означает окончательное подтверждение того, что оно выполняется, учитывая надёжное описание проверяемой системы. Исследователи показывают, что аккуратное соотношение между функциями и распределениями, столь полезное при тестировании, полностью распадается в параметре верификации.

Почему это важно за пределами математики?

Должны ли аудиторы беспокоиться?

Да, конкретно и практически. Разработчики и регуляторы все чаще хотят убедиться, что системы ИИ работают последовательно, а не просто предположить, что они это делают. Если ярлык, который работает для статистических выборочных проверок, не работает для формальных гарантий, то инструменты и методы доказательства, основанные на этом ярлыке, могут дать ложную уверенность.

Расхождение наблюдается в нескольких технических параметрах, которые изучает статья, а не только в одном граничном случае. Это делает его структурным выводом, а не любопытством.

На данный момент это теоретическое исследование. Оно не указывает на неработающий продукт или ошибочный аудит, произошедший в реальном мире. Что оно делает, так это сужает набор инструментов: методы, которые действительны для вероятностного тестирования, нуждаются в отдельном, более сложном обосновании, прежде чем кто-либо будет использовать их для сертификации гарантий последовательности.

Для пациентов, клиентов или работников, чьи жизни формируются решениями ИИ, вывод косвенный, но реальный. Формальная верификация правил справедливости ИИ сложнее, чем кажется, и эта статья объясняет, почему.