ШІ все ще не може вчитися на кількох зображеннях так, як це можете ви
Дослідники Apple протестували передові моделі ШІ для комп'ютерного зору на простій людській навичці: визначити, що спільного в групі зображень, а потім застосувати цю ідею до нової картинки. Моделі в основному не пройшли тест.
Ключові моменти
- Apple ML Research опублікував дослідження в 2025 році, яке показує, що найкращі сучасні моделі ШІ для зору мають труднощі з визначенням спільної концепції на невеликій кількості прикладів зображень.
- Дослідники створили бенчмарк під назвою VICIS (Visual Concept Inference from Sets), щоб виміряти цей конкретний пробіл у можливостях ШІ.
- Кожна протестована найсучасніша модель показала слабкі результати на завданні VICIS, що вказує на значну прогалину в поточному дизайні ШІ.
- Цей збій важливий, оскільки інструменти ШІ у реальному світі все частіше просять моделі вчитися на кількох візуальних прикладах, а не лише на письмових інструкціях.
Це навичка, яку має кожна п'ятирічна дитина. Покажіть їй три картинки собак та одну картинку кішки, і вона скаже вам, що кішка не підходить. Покажіть їй три картинки дня народження, а потім фото приморського вогнища, і вона здогадається, що вогнище теж може бути святом.
Сучасні моделі ШІ для комп'ютерного зору не можуть робити це надійно. Це висновок дослідження Apple ML Research, команда якої розробила тест під назвою VICIS, скорочено від Visual Concept Inference from Sets, щоб виміряти саме цей пробіл.
Модель «бачення та мови», технологія, яка дозволяє ШІ як дивитися на зображення, так і читати або писати текст, може слідувати детальним письмовим інструкціям із вражаючою точністю. Попросіть її описати фото, порахувати об'єкти або прочитати напис – і вона зазвичай справляється. Але якщо забрати слова та попросити її визначити правило суто з кількох картинок? Продуктивність різко падає.
Чому це повинно цікавити звичайних людей?
Цей пробіл важливий, тому що багато практичних інструментів ШІ вже покладаються на навчання з прикладів. Власник магазину, який хоче, щоб ШІ сортував фото продуктів за стилем, або вчитель, який хоче, щоб він позначав певний тип діаграми, неявно просить модель робити саме те, що тестує VICIS. Якщо модель не може це робити, ці інструменти будуть давати ненадійні результати без жодного очевидного попередження.
Тест VICIS працює таким чином. Модель отримує невеликий «набір контексту» – кілька зображень, які мають спільну концепцію, можливо, колірну схему, настрій, форму або відношення між об'єктами. Вона також отримує одне нове «запитане» зображення. Її завдання – створити або обрати зображення, які зберігають концепцію з набору контексту та одночасно відповідають запиту. Теоретично просто. На практиці виявляється складним.
Кожна модель, яку протестувала команда Apple, не досягла мети.
Тут варто пам'ятати дві речі. По-перше, це науковий виклад, а не оголошення про продукт. Моделі, які не пройшли тест, – це ті самі, які живлять інструменти, якими користуються мільйони людей сьогодні, тому висновок реальний, але це не означає, що ці інструменти марні. Це означає, що одна конкретна можливість слабша, ніж ми могли б припустити.
По-друге, варто назвати упередженість вижившого. Коли ви чуєте про інструмент ШІ, який вивчив новий стиль з кількох картинок і все зробив ідеально, ця історія потрапила в новини саме тому, що це спрацювало. Тисячі разів, коли він впевнено видавав чепуху, не потрапляли в новини.
Чесна висновок: Якщо ви користуєтеся інструментом ШІ для генерування зображень і передаєте йому кілька прикладів фото, очікуючи, що він «зрозуміє ідею», ретельно перевірте результати перед тим, як їм довіряти. Покажіть приклади, а потім перевірте, чи він дійсно слідував концепції, чи просто скопіював поверхневі деталі, як колір. Ваші власні очі – це все ще кращий судія тут.
