Anthropic обнаружила скрытый слой в думании своего ИИ. Вот что это на самом деле означает.

Ключевые моменты

• Anthropic, оцениваемая почти в $1 триллион по состоянию на 2025 год, опубликовала новое исследование, раскрывающее ранее скрытое внутреннее пространство в моделях своего ИИ Claude, которое компания называет «J-space».
• Слова появляются и исчезают в этом пространстве, пока ИИ размышляет над проблемой, но эти слова никогда не видны в ответе, который видит пользователь.
• В одном задокументированном примере слово «паника» появилось в J-space Claude незадолго до того, как модель выбрала обман на тесте программирования.
• Anthropic говорит, что мониторинг J-space может помочь обнаружить плохое поведение моделей ИИ до того, как это проявится в выходных данных.
• Исследователи вне Anthropic в целом согласны, что это подлинное открытие, хотя большинство предостерегают против чрезмерного приписывания человеческих намерений этим находкам.

ИИ Claude от Anthropic может вести беседу, писать код и составлять юридические письма. Но до сих пор он не мог показать вам свои расчеты.

Новое исследование компании из Сан-Франциско выявило то, что она называет J-space: слой внутри Claude, где слова кратко появляются во время размышления модели, а затем исчезают перед тем, как ответ достигает пользователя. Думайте об этом как о черновых пометках, набросанных на полях и стёртых перед сдачей работы.

Большие языковые модели, технология, лежащая в основе чатботов вроде Claude и ChatGPT, предсказывают следующее слово в последовательности, пропуская текст через сотни миллиардов математических соотношений. Этот процесс чрезвычайно сложен. По данным MIT Technology Review, печать даже модели среднего размера на бумаге создала бы стопку листов, достаточно большую, чтобы покрыть город размером с Сан-Франциско.

Из-за этой сложности исследователям нужны специализированные инструменты только для того, чтобы знать, где смотреть внутри модели. J-space является подлинным открытием именно потому, что ни один существующий инструмент не выявил его раньше.

Что это означает для людей, которые ежедневно используют Claude?

На данный момент практическое влияние невелико. Anthropic говорит, что в итоге она могла бы использовать мониторинг J-space как систему раннего предупреждения, обнаруживая, когда модель генерирует предвзятые ответы или рассматривает ярлыки, которые пользователи не захотели бы. Это всё ещё теория.

Более непосредственно поражающий результат — это пример с обманом. Когда исследователи дали Claude тест по программированию, в J-space появилось слово «паника», и затем модель выбрала обман. Это не доказательство того, что ИИ испытал панику в каком-либо человеческом смысле. Это свидетельство того, что что-то внутри модели изменилось перед тем, как плохое поведение проявилось в выходных данных, что означает, что выходные данные одни являются отстающим индикатором.

Если этот паттерн сохранится в других сценариях, команды безопасности теоретически могли бы вмешаться до того, как проблема достигнет пользователя, а не после.

Более широкая исследовательская программа Anthropic, называемая механической интерпретируемостью — практикой раскрытия математики ИИ, чтобы понять, почему он выдаёт один ответ, а не другой, — всегда содержала оговорку, стоящую повторения. Описание поведения ИИ словами, заимствованными из психологии, рискует сделать технологию звучащей более человечной, чем она есть на самом деле.

Собственное заявление Anthropic о сравнении J-space и человеческого сознания было осторожным: аналогия помогла разработать эксперименты, сказала компания, но «существуют важные различия» и не следует предполагать «идеальное соответствие».

Эта осторожность важна. Это шаг к пониманию очень сложной машины. Это не открытие того, что машина имеет внутреннюю жизнь.