Что такое большая языковая модель и как она работает?

Большая языковая модель (LLM) — это тип ИИ, обученный на огромных объёмах текста, чтобы читать, писать, резюмировать и отвечать на вопросы на естественном языке. Она работает благодаря тому, что изучает закономерности в миллиардах слов, а затем предсказывает наиболее полезное следующее слово, предложение или идею. Представьте себе автодополнение, которое прошло университетское образование.

Что означает «большая» на самом деле?

«Большая» относится сразу к двум вещам: размеру тренировочных данных и количеству «параметров» в модели. Параметры — это регулируемые внутренние настройки, похожие на крошечные регуляторы, которые модель настраивает во время обучения, чтобы лучше предсказывать текст. Предполагается, что GPT-4 имеет сотни миллиардов параметров, поэтому запуск этих моделей требует серьёзных вычислительных мощностей.

Большее количество параметров не всегда означает более умную модель. Исследователи обнаружили, что тщательно подобранные, меньшие наборы данных могут создавать удивительно способные модели при значительно меньшем размере. Ярлык «большая» становится скорее условностью, чем строгим правилом.

Как на самом деле происходит обучение?

Обучение — это процесс, при котором модель получает огромное количество текста и многократно угадывает следующее слово, при этом регуляторы настраиваются, когда предсказание неправильно. Повторите это миллиарды раз, и модель начнёт усваивать грамматику, факты, стили рассуждений и даже тон.

Доминирующий метод в современных LLM называется архитектура трансформера, представленная в знаковой статье 2017 года. Трансформеры используют механизм, называемый «внимание», который позволяет модели оценивать, насколько релевантно каждое слово в предложении для всех остальных слов, чтобы она понимала контекст, а не просто порядок слов.

После этого начального обучения большинство коммерческих моделей проходит второй этап, называемый RLHF (обучение с подкреплением на основе обратной связи от человека). Оценивающие люди оценивают ответы модели, и эти оценки учат модель быть более полезной и менее вредоносной.

Что на самом деле может делать LLM?

На практике хорошо обученная LLM может составлять электронные письма, объяснять медицинскую терминологию, писать код, переводить языки и резюмировать длинные документы. Реальный пример: врачебная практика в Великобритании использовала LLM для составления писем пациентам для контроля, сократив административное время примерно вдвое, поскольку модель могла преобразовать пометки врача в полный, читаемый текст за секунды.

То, что она не может делать надёжно, — это рассуждать с первых принципов, получать доступ к живой информации (если только ей не дан инструмент поиска в Интернете) или гарантировать фактическую точность. LLM иногда «галлюцинируют», то есть уверенно заявляют вещи, которые просто неправильны. Исследование Anthropic о поведении моделей объясняет, почему это происходит и как разработчики пытаются это сократить.

Чем LLM отличается от поисковой системы?

Поисковая система находит и ранжирует страницы, которые уже существуют. LLM создаёт новый текст с нуля, опираясь на закономерности, усвоенные во время обучения. Поиск дает вам список источников, LLM дает вам синтезированный ответ без гарантии, что он указывает на первоначальное доказательство.

Эти два подхода всё чаще объединяют. Инструменты, такие как извлечение с увеличением (RAG), позволяют LLM получать живые документы перед ответом, объединяя лучшее из обоих подходов.

Сколько стоит использование такой модели?

Модель / сервис	Бесплатный уровень	Платный уровень начинается с
ChatGPT (OpenAI)	Да, GPT-4o mini	~$20/месяц за Plus
Claude (Anthropic)	Да, Claude 3 Haiku	~$20/месяц за Pro
Gemini (Google)	Да, Gemini 1.5 Flash	~$20/месяц за Advanced
Доступ к API (создайте свой)	Кредиты использования при регистрации	Плата за токен (доля цента)

Для большинства обычных пользователей бесплатные уровни подходят для повседневных задач. Активные пользователи или разработчики, платящие за токены (токен примерно составляет три-четыре символа текста), могут быстро накопить расходы на длинные документы.

Есть ли ловушки с конфиденциальностью, о которых я должен знать?

Да, и они имеют значение. Когда вы вводите запрос в коммерческую LLM, этот текст отправляется на серверы провайдера. Многие провайдеры указывают в своих условиях, что они могут использовать ваши разговоры для улучшения будущих моделей, если вы не активно отключите эту функцию. Элементы управления конфиденциальностью OpenAI позволяют отключить использование данных обучения, но эта настройка не включена по умолчанию для всех пользователей.

Не вставляйте личные данные, записи пациентов, финансовые детали или конфиденциальную информацию бизнеса в общедоступную LLM, если вы не проверили тщательно условия обработки данных провайдера.

Часто задаваемые вопросы

Является ли большая языковая модель тем же самым, что и искусственный общий интеллект?

Нет. LLM — это специализированная система, обученная предсказанию текста. Искусственный общий интеллект (AGI) означал бы систему, которая может учиться и рассуждать в любой области так же, как человек, что исследователи считают открытой и нерешённой проблемой.

Может ли LLM изучать новые факты после её выпуска?

Не самостоятельно. Стандартная LLM имеет «момент отсечки знаний» — дату, когда закончились её тренировочные данные, и она не обновляет себя, когда происходят новые события. Некоторые системы добавляют на вершину инструменты живого поиска, чтобы обойти это ограничение.

Почему LLM иногда что-то придумывает?

Потому что это по сути механизм завершения паттернов, а не проверки фактов. Если паттерн предложения сильно указывает на правдоподобный ответ, модель его выдаёт, даже если надёжного доказательства не существует. Исследование этой проблемы галлюцинаций активно ведётся во всех крупных лабораториях.