Inkling-Small в четыре раза меньше своего предшественника, но почти столь же функционален
Thinking Machines выпустила вторую модель с открытым исходным кодом всего две недели после первой. Меньшая версия дешевле в использовании, набирает больше баллов в нескольких тестах кодирования и поставляется с лицензией, удобной для бизнеса.
Ключевые моменты
- Thinking Machines выпустила Inkling-Small 9 июля 2025 года, всего две недели после запуска оригинальной модели Inkling.
- Inkling-Small имеет 276 миллиардов общих параметров, но использует только 12 миллиардов одновременно, по сравнению с 975 миллиардами общих и 41 миллиардом активных для оригинального Inkling.
- Сайт сторонней оценки Artificial Analysis присвоил Inkling-Small 40 баллов по своему индексу интеллекта, на один балл ниже, чем 41 балл Inkling.
- Inkling-Small превосходит Inkling в тестах кодирования, включая 80,2% против 77,6% на SWE-bench Verified, стандартном тесте кодирования.
- Модель выпущена под лицензией Apache 2.0 с открытым исходным кодом, которая позволяет компаниям использовать, модифицировать и коммерциализировать её с минимальными ограничениями.
Две недели. Столько понадобилось стартапу Thinking Machines, основанному бывшим главным технологом OpenAI Мирой Мурати, чтобы следом за своей первой моделью AI выпустить меньшую, дешевую и почти столь же функциональную версию-преемника.
Новая модель называется Inkling-Small. Это мультимодальная модель рассуждений, что означает, что она может принимать текст, изображения и аудио и выдавать текст в ответ. Несмотря на название, это не маленькая модель по обычным меркам, но она значительно стройнее, чем её аналог, и разрыв в производительности удивительно незначительный.
Как она сравнивается с оригинальным Inkling?
По индексу интеллекта Artificial Analysis, системе оценки третьей стороны, которая ранжирует модели AI по десяткам тестов, Inkling-Small получает 40 баллов в сравнении с 41 баллом Inkling. Разница в один балл от модели, которая примерно в четыре раза крупнее.
Разница в размере объясняется архитектурой. Inkling-Small использует конструкцию под названием разреженная модель Mixture-of-Experts. Представьте это как большую команду специалистов: модель имеет 256 специализированных подсетей, называемых экспертами, но для каждого обрабатываемого слова или фразы она консультируется только с шестью из них плюс два универсальных эксперта, которые всегда активны. Вот почему модель содержит 276 миллиардов параметров (изученные значения, заложенные в процессе обучения) в целом, но активирует только 12 миллиардов одновременно. Меньше работы на шаг означает более низкие вычислительные затраты.
На нескольких тестах кодирования и рассуждений Inkling-Small на самом деле превосходит свой больший аналог. Он набирает 80,2% на SWE-bench Verified, тесте исправления реальных ошибок в программном обеспечении, в сравнении с 77,6% для Inkling. Он также немного опережает на тесте научного кодирования SciCode и на Humanity's Last Exam, тесте рассуждений экспертного уровня.
Преимущество не универсально. Inkling сохраняет чёткое преимущество в задачах, связанных с фактическими знаниями: 23,7% против 15,5% на одном тесте в банковской сфере. Предприятия, использующие модель для высокорисковых запросов с фактическими данными, по-прежнему должны дополнять её инструментами поиска и проверкой человеком.
Можете ли вы действительно запустить её самостоятельно?
Не на ноутбуке. Полная версия с полной точностью Inkling-Small требует по крайней мере 600 ГБ объединённой памяти GPU, типа специализированной вычислительной мощности, найденной в серверных комнатах, а не в домашних офисах. Thinking Machines указывает две поддерживаемые конфигурации оборудования: четыре чипа NVIDIA B300 или восемь чипов NVIDIA H200.
Сжатая версия снижает это требование примерно до 180 ГБ, и компания говорит, что этот вариант может работать на одном чипе B300. Тем не менее, это твёрдо корпоративная область.
Ярлык "Small" относителен по отношению к Inkling, а не к более широкому миру лёгких моделей, которые работают на потребительском оборудовании. Тем не менее, полные веса модели свободно доступны на Hugging Face, главной платформе для обмена открытыми моделями AI, и сообщество с открытым исходным кодом почти наверняка создаст ещё более сжатые версии в ближайшие недели.
Сколько стоит использование через API?
Thinking Machines в настоящее время предлагает скидку при запуске, снизив цены до $0,58 за миллион входных токенов и $1,44 за миллион выходных токенов для стандартной версии с контекстом 64 000. Токен примерно равен трём четвертям слова, так что миллион токенов охватывает большой объём текста.
| Уровень цен | Стоимость за миллион токенов |
|---|---|
| Входящие (заполнение) | $0,58 |
| Исходящие (выбранные) | $1,44 |
| Обучение | $1,73 |
| Кэшированные входящие | $0,116 |
Стоит отметить лицензию Apache 2.0, охватывающую модель. Она позволяет компаниям использовать, модифицировать, проводить тонкую настройку и создавать коммерческие продукты на основе Inkling-Small без пороговых значений дохода или условий брендирования, которые появляются в некоторых других лицензиях моделей AI. Для юридических и закупочных команд это является значительным упрощением.
Часто задаваемые вопросы
Означает ли «открытый исходный код» что кто-либо может использовать это свободно?
Apache 2.0 — это одна из самых разрешительных стандартных лицензий в программном обеспечении. Компании могут использовать, модифицировать и продавать продукты, построенные на Inkling-Small, при условии, что они соблюдают правила атрибуции лицензии и рассматривают любую политику приемлемого использования, которую Thinking Machines опубликует вместе с ней.
Безопасна ли эта модель для доверия при принятии важных решений?
Показатели фактических знаний Inkling-Small отстают от большего Inkling, и его показатель по одному индексу фактических данных отрицателен, что означает, что он падает ниже базового уровня по охвату широких знаний. Любая организация, использующая её для медицинских, юридических или финансовых решений, должна включить поиск из проверенных источников и проверку результатов человеком.
