ИИ всё ещё не может учиться по нескольким фотографиям так, как это делаете вы

Ключевые моменты

• Apple ML Research опубликовала исследование в 2025 году, показывающее, что лучшие современные модели ИИ для анализа визуального контента с обработкой языка с трудом идентифицируют общую концепцию в небольшом наборе примеров изображений.
• Исследователи создали эталон VICIS (Visual Concept Inference from Sets) для измерения этого конкретного пробела в возможностях ИИ.
• Каждая протестированная модель передовых технологий показала плохие результаты в задаче VICIS, что указывает на значительный слепой пункт в дизайне современного ИИ.
• Эта ошибка имеет значение, поскольку инструменты ИИ в реальном мире всё чаще требуют от моделей обучения на основе нескольких визуальных примеров, а не только письменных инструкций.

Это навык, который есть у каждого пятилетнего ребёнка. Покажите ему три фотографии собак и одну фотографию кошки, и он скажет, что кошка не подходит. Покажите ему три фотографии дней рождения, а затем фото пляжного костра, и он предположит, что костер тоже может быть праздником.

Современные модели компьютерного зрения ИИ не могут делать это надёжно. Такой вывод получила группа Apple ML Research, которая разработала тест под названием VICIS, расшифровывается как Visual Concept Inference from Sets, чтобы измерить именно этот пробел.

Модель визуального языка, технология, которая позволяет ИИ одновременно просматривать изображения и читать или писать текст, может следовать детальным письменным инструкциям с впечатляющей точностью. Попросите её описать фотографию, подсчитать объекты или прочитать надпись — и она обычно справляется. Но уберите слова и попросите её определить правило исключительно по нескольким фотографиям? Производительность резко снижается.

Почему это должно волновать обычных людей?

Этот пробел имеет значение, потому что многие практические инструменты ИИ уже полагаются на обучение на основе примеров. Владелец магазина, который хочет, чтобы ИИ сортировал фотографии товаров по стилю, или учитель, который хочет, чтобы он выявлял определённый тип диаграммы, неявно просит модель делать именно то, что тестирует VICIS. Если модель не может это делать, эти инструменты будут давать недёжные результаты без каких-либо явных предупреждений.

Тест VICIS работает следующим образом. Модель получает небольшой «набор контекста», несколько изображений, которые имеют общую концепцию — возможно, цветовую схему, настроение, форму или отношения между объектами. Она также получает одно новое «тестовое» изображение. Её задача — генерировать или выбирать изображения, которые сохраняют концепцию из набора контекста и одновременно соответствуют тестовому изображению. Теоретически просто. На практике оказалось сложно.

Каждая модель, которую протестировала команда Apple, не справилась с задачей.

Здесь стоит иметь в виду две вещи. Во-первых, это исследовательская работа, а не объявление о продукте. Модели, которые не справились, — это те же самые, на которых работают инструменты, используемые миллионами людей сегодня, поэтому вывод реален, но это не означает, что эти инструменты бесполезны. Это означает, что одна конкретная возможность слабее, чем мы могли бы предположить.

Во-вторых, стоит учитывать смещение выжившего. Когда вы слышите об инструменте ИИ, который выучил новый стиль по нескольким фотографиям и отлично справился, эта история попала в новости, потому что она сработала. Тысячи случаев, когда он с уверенностью производил бессмыслицу, не попали в новости.

Честный вывод: Если вы используете инструмент ИИ для работы с изображениями и передаёте ему несколько примеров фотографий, ожидая, что он «поймёт идею», внимательно протестируйте результаты перед использованием. Покажите ему примеры, а затем проверьте, действительно ли он следует концепции или просто копирует поверхностные детали, такие как цвет. Ваши собственные глаза здесь — лучший судья.