ByteDance разрабатывает одну из крупнейших моделей ИИ в истории
Китайский технологический гигант обучает модель с параметрами до 10 триллионов, что значительно превзойдет любую китайскую систему ИИ, выпущенную до сих пор, и поставит ее в один ряд с самыми продвинутыми системами Anthropic.
Ключевые моменты
- ByteDance обучает модель ИИ с максимум 10 триллионами параметров, согласно информации трех осведомленных лиц.
- Эта цифра в три раза больше, чем у Kimi K3, крупнейшей китайской модели ИИ, выпущенной публично на данный момент.
- Модель находится на стадии предварительного обучения, процесс которого обычно занимает от трех до шести месяцев перед публичным выпуском.
- Окончательное количество параметров не зафиксировано и будет подтверждено на более позднем этапе разработки.
- При успешном завершении модель приблизится по масштабу к самым передовым системам ИИ компании Anthropic.
ByteDance, китайская компания, владеющая TikTok, тихо разрабатывает то, что может стать одной из крупнейших моделей искусственного интеллекта в мире. Три человека, знакомые с проектом, рассказали Ars Technica, что модель может достичь 10 триллионов параметров — цифры, требующей небольшого пояснения.
Параметр — это крошечный внутренний параметр модели ИИ. Чем больше параметров в модели, тем больше закономерностей она может выучить из данных и, как правило, тем более способной она становится в выполнении задач вроде написания текстов, рассуждений и ответов на вопросы. GPT-4, модель, которая питает ChatGPT, широко оценивается примерно в 1,8 триллиона параметров. Десять триллионов — это совсем другой уровень.
Для сравнения: Kimi K3 от Moonshot, на данный момент крупнейшая модель ИИ, выпущенная любой китайской компанией, имеет примерно 3,3 триллиона параметров. Проект ByteDance будет в три раза больше.
На каком этапе это находится?
В настоящее время модель находится на этапе, который инженеры называют предварительным обучением: это первая и самая длительная фаза разработки ИИ, на которой система читает огромные объемы текста и данных для изучения базовых навыков языка и рассуждений. Представьте это как ИИ, проходящий школу перед любым специализированным профессиональным обучением. Эта фаза обычно занимает от трех до шести месяцев.
После предварительного обучения инженеры запускают вторую фазу, называемую тонкой настройкой, где модель обучается на более конкретных задачах и совершенствуется для реального использования. Только после этого ByteDance рассмотрел бы публичный выпуск, и только если результаты выглядят хорошо.
Важно отметить, что цифра в 10 триллионов не окончательная. Один из источников сказал, что точный размер будет определен позже в процессе. Основная цифра может измениться.
Почему это важно для обычных людей?
Более крупные модели обычно дают лучшие результаты при решении сложных задач: работа со сложными юридическими документами, ответы на медицинские вопросы, многошаговые задачи кодирования. Если ByteDance выпустит модель такого масштаба, это даст компании серьезный инструмент для конкуренции с американскими лабораториями, такими как Anthropic и OpenAI, на глобальном рынке ИИ.
Это также сигнализирует о том, как быстро китайские компании сокращают отставание. Год назад разрыв между американским и китайским передовым ИИ казался значительным. Сегодня он быстро сокращается.
Для потребителей практическим результатом будет больше конкуренции, что исторически снижает цены и повышает качество. ByteDance уже работает с продуктами ИИ, включая собственный чатбот Doubao, который имеет десятки миллионов пользователей в Китае.
Все это пока не является готовым продуктом. Обучение может не удаться, результаты могут разочаровать, а компании регулярно отказываются от моделей, которые не оправдывают надежд. Но сама масштабность этой попытки говорит о том, куда направлены амбиции ByteDance.
