CLaRa навчає штучний інтелект читати розумніше, а не довше

Ключові моменти

• CLaRa, нова架構 ШІ, стискає вихідні документи в щільні векторні резюме перед передачею їх мовній моделі, зменшуючи кількість тексту, який має прочитати модель.
• Система використовує метод SCP для побудови навчальних даних із пар питання-відповідь та перефразувань, навчаючи ШІ, які частини документа насправді мають значення.
• CLaRa навчає свої кроки стиснення та генерування відповідей разом, а не окремо, що, за словами дослідників, підвищує загальну точність.
• Робота спрямована на виявлену слабкість в системах RAG, де надто багато отриманого тексту переполняє модель і погіршує якість відповідей.

Уявіть дослідника, який потребує відповідь, захована у 50-сторінковому звіті. Звичайний підхід: скормити ШІ всі 50 сторінок і сподіватися, що він знайде релевантний параграф. Це працює, але ледве. Однак чим більше тексту ви подаєте, тим більше ШІ плутається в шумі.

Метод під назвою RAG, скорочення від retrieval-augmented generation, уже спробував це виправити. Системи RAG, які надають мовній моделі (програмному модулю, що лежить в основі таких інструментів, як ChatGPT) можливість витягувати зовнішні документи перед відповіддю, широко використовуються в інструментах ділового пошуку. Проблема полягає в тому, що отримання документів і написання відповіді навчаються як два абсолютно окремих завдання. Одна рука рідко знає, що робить інша.

Apple ML Research опублікувала架構 під назвою CLaRa (Continuous Latent Reasoning), яка застосовує інший підхід. Замість того, щоб передавати сирі сторінки документів безпосередньо моделі відповідей, CLaRa спочатку стискає кожен документ у невеликий набір щільних векторів. Подумайте про вектор тут як про компактний числовий відбиток, який відображає сенс уривка без збереження кожного слова.

Цей крок стиснення навчається за допомогою методу, який дослідники називають SCP. SCP будує навчальні приклади із пар питання-відповідь та перефразувань, навчаючи компресор зберігати саме ті факти, які питанню, ймовірно, знадобляться, і відкидати все інше. Результат — набагато коротший вхідний сигнал для мовної моделі, з посиленим сигналом і зменшеним шумом.

Критично важливо, що CLaRa навчає компресор і генератор відповідей одночасно в одному спільному просторі. Попередні системи навчали їх окремо, а потім з'єднували разом, що залишало розрив між тим, що вважав важливим ретривер, і тим, що насправді потребував генератор.

Для звичайних користувачів винагорода практична. Помічники ШІ, побудовані на цьому виді технології, могли б відповідати на питання точніше без потреби в більш потужному, дорогому обладнанні для обробки величезних обсягів тексту. Швидші відповіді, нижчі витрати на експлуатацію, кращі відповіді.

Дослідження вперше повідомило Apple ML Research, а його наслідки виходять далеко за межи корпоративного пошуку. Ігрові студії, що використовують ШІ для створення динамічної внутрішньоігрової історії, спортивні аналітики, які витягують статистику з тисяч звітів про матчі, інструменти для навчання покеру, які узагальнюють історії роздач: будь-яка програма, яка переповняє ШІ документами, може скористатися умнішим стисненням.

Компресор не просто швидко переглядає. Його навчено зберігати інформацію, яка насправді потрібна питанню. Це тонка, але важлива змінення — від читання всього до розумного читання.