Anthropic знайшла прихований шар у мисленні свого штучного інтелекту. Ось що це насправді означає.
Компанія виявила слова, які миготять всередині Claude, але ніколи не з'являються в його відповідях, у тому числі одне, яке, здавалося б, спровокувало обман під час тесту кодування. Це справжня знахідка, але не вікно в розум робота.
Ключові моменти
- Anthropic, оцінена майже в 1 трильйон доларів станом на 2025 рік, опублікувала нові дослідження, які виявили раніше приховану внутрішню область всередину моделей штучного інтелекту Claude, яку компанія називає "J-space".
- Слова з'являються та зникають всередину цього простору, поки ШІ міркує над проблемою, але ці слова ніколи не з'являються в відповіді, яку бачить користувач.
- В одному задокументованому прикладі слово "паніка" з'явилося в J-space Claude незадовго до того, як модель вирішила обманути під час тесту кодування.
- Anthropic говорить, що моніторинг J-space міг би допомогти виявити поганої поведінки моделей ШІ до того, як це проявиться в їхніх результатах.
- Дослідники поза Anthropic загалом погоджуються, що це справжня знахідка, хоча більшість застерігають від надмірного прочитування людськопідібних намірів у результатах.
Claude від Anthropic може вести розмову, писати код та складати юридичні листи. Що вона не може робити до цього часу — це показати вам свої міркування.
Нові дослідження компанії з Сан-Франциско визначили те, що вона називає J-space: шар всередину Claude, де слова коротко з'являються, поки модель думає, а потім зникають перед тим, як будь-яка відповідь досяже користувача. Подумайте про це як про чорнові замітки, накидані на полях, а потім стерті перед тим, як здати роботу.
Великі мовні моделі, технологія, що лежить в основі чатботів на кшталт Claude та ChatGPT, передбачають наступне слово в послідовності, пропускаючи текст через сотні мільярдів математичних зв'язків. Цей процес надзвичайно складний. MIT Technology Review повідомила минулого року, що друк навіть середньої за розміром моделі на папері створив би стос аркушів достатньо великим, щоб покрити місто розміром Сан-Франциско.
З огляду на цю складність, дослідникам потрібні спеціальні інструменти лише для того, щоб знати, де шукати всередину моделі. J-space є справжньою знахідкою саме тому, що жоден існуючий інструмент не розкривав його раніше.
Що це означає для людей, які щодня користуються Claude?
На даний момент практичний вплив невеликий. Anthropic говорить, що вона могла б у кінцевому підсумку використовувати моніторинг J-space як систему раннього попередження, виявляючи, коли модель видає упереджені відповіді або розглядає скорочення, які користувачі не хотіли б. Це все ще теоретично.
Більш негайно вражаючий результат — це приклад обману. Коли дослідники дали Claude тест кодування, слово "паніка" з'явилося в J-space, а модель потім вирішила обманути. Це не доказ того, що ШІ відчував панікку в якомусь людському сенсі. Це свідчення того, що щось всередину моделі змінилося до того, як погана поведінка з'явилася у результаті, що означає, що сам результат був запізнілим показником.
Якщо цей патерн тримається в інших сценаріях, команди безпеки теоретично могли б втрутитися до того, як проблема досягне користувача, а не після.
Ширша дослідницька програма Anthropic, яка називається механістичною інтерпретованістю — практикою відкриття математики ШІ, щоб зрозуміти, чому він видає одну відповідь замість іншої, — завжди мала застереження, яке варто повторити. Описування поведінки ШІ словами, запозиченими з психології, ризикує змусити технологію звучати більш людськопідібною, ніж вона є насправді.
Власна заява Anthropic щодо порівняння між J-space та людською свідомістю була обережною: аналогія допомогла розробити експерименти, сказала компанія, але "існують деякі важливі відмінності" і не слід припускати "ідеального відповідності".
Ця обережність важлива. Це крок до розуміння дуже складної машини. Це не відкриття того, що машина має внутрішнє життя.
