Inkling-Small має розмір в чверть від попередника і майже так само функціональна
Thinking Machines випустила другу модель штучного інтелекту з відкритим кодом всього два тижні після першої. Менша версія коштує дешевше, набирає вищі бали на кількох тестах кодування та поставляється з ліцензією, дружною до бізнесу.
Ключові моменти
- Thinking Machines випустила Inkling-Small 9 липня 2025 року, всього два тижні після запуску оригінальної моделі Inkling.
- Inkling-Small має 276 мільярдів загальних параметрів, але використовує лише 12 мільярдів одночасно, порівняно з 975 мільярдами загальних і 41 мільярдом активних в оригінальній Inkling.
- Сайт стороннього бенчмаркингу Artificial Analysis присвоїв Inkling-Small 40 балів за своїм Індексом інтелекту, на один бал нижче, ніж 41 у Inkling.
- Inkling-Small перевищує Inkling на тестах кодування, включаючи 80,2% проти 77,6% на SWE-bench Verified, стандартному бенчмарку кодування.
- Модель випущена під ліцензією Apache 2.0 з відкритим кодом, яка дозволяє компаніям використовувати, модифікувати та комерціалізувати її з мінімальними обмеженнями.
Два тижні. Це все, що знадобилося Thinking Machines, стартапу заснованому колишнім головним технологом OpenAI Мірою Муваті, щоб випустити меншу, дешевшу, майже рівнозначну за можливостями модель штучного інтелекту.
Нова модель називається Inkling-Small. Це мультимодальна модель міркування, що означає, що вона може сприймати текст, зображення та аудіо і видавати текст у відповідь. Незважаючи на назву, вона не мала за жодною звичайною мірою, але вона значно менш ресурсоємна, ніж її сестра, і розрив у продуктивності на диво невеликий.
Як вона порівнюється з оригінальною Inkling?
За Індексом інтелекту Artificial Analysis, системою оцінювання від третьої сторони, яка ранжує моделі ШІ за десятками тестів, Inkling-Small набирає 40 балів порівняно з 41 у Inkling. Різниця в один бал від моделі, яка приблизно в чотири рази більша.
Різниця розмірів залежить від архітектури. Inkling-Small використовує дизайн, називається розрідженою Mixture-of-Experts моделлю. Думайте про це як про велику команду фахівців: модель має 256 спеціалізованих під-мереж, називаються експертами, але для будь-якого слова чи фрази, яку вона обробляє, вона консультується лише з шістьма з них плюс два експерти загального призначення, які завжди активні. Ось чому модель утримує 276 мільярдів параметрів (навчених значень, вбудованих під час навчання) загалом, але активує лише 12 мільярдів одночасно. Менше роботи за крок означає нижчі обчислювальні витрати.
На кількох тестах кодування та міркування Inkling-Small насправді перевищує свою більшу сестру. Вона набирає 80,2% на SWE-bench Verified, тесту виправлення реальних помилок програмного забезпечення, проти 77,6% для Inkling. Вона також випереджає на бенчмарку наукового кодування під назвою SciCode і на Humanity's Last Exam, тесту експертного рівня міркування.
Перевага не універсальна. Inkling зберігає чітку перевагу на завданнях фактичного знання: 23,7% проти 15,5% на одному банківському тесті. Підприємства, які використовують модель для критично важливих запитів на факти, все ще повинні поєднувати її з інструментами пошуку та людським аналізом.
Чи можна її дійсно запустити самостійно?
Не на ноутбуці. Повно-прецизійна версія Inkling-Small потребує щонайменше 600 ГБ об'єднаної пам'яті GPU, такої спеціалізованої обчислювальної потужності, яку можна знайти в серверних кімнатах, а не в домашніх офісах. Thinking Machines наводить два підтримувані апаратні конфігурації: чотири мікросхеми NVIDIA B300 або вісім мікросхем NVIDIA H200.
Стислена версія зменшує це вимогу приблизно до 180 ГБ, і компанія говорить, що цей варіант може працювати на одній мікросхемі B300. Все ж, це твердо територія корпоративних рішень.
Мітка "Small" відносна до Inkling, а не до ширшого світу легких моделей, які працюють на звичайному обладнанні. Тобто, повні ваги моделі вільно доступні на Hugging Face, основній платформі для спільного користування моделями штучного інтелекту з відкритим кодом, і спільнота з відкритим кодом майже напевно створить ще більш стислі версії в найближчі тижні.
Скільки це коштує використовувати через API?
Thinking Machines наразі пропонує знижку на запуск, спрямовуючи ціни на $0,58 за мільйон вхідних токенів і $1,44 за мільйон вихідних токенів для стандартної версії з контекстом 64 000. Токен становить приблизно три чверті слова, тому мільйон токенів охоплює великий обсяг тексту.
| Рівень цін | Вартість за мільйон токенів |
|---|---|
| Вхід (заповнення) | $0,58 |
| Вихід (вибірка) | $1,44 |
| Навчання | $1,73 |
| Кешований вхід | $0,116 |
Варто зазначити ліцензію Apache 2.0, яка охоплює модель. Вона дозволяє компаніям використовувати, модифікувати, тонко налаштовувати та будувати комерційні продукти на основі Inkling-Small без порогів доходів або умов брендування, що з'являються в деяких інших ліцензіях моделей штучного інтелекту. Для юридичних та закупівельних команд це є значним спрощенням.
Часто задаються питання
Чи означає "відкритий код", що будь-хто може використовувати це безплатно?
Apache 2.0 — одна з найбільш дозвільних стандартних ліцензій в програмному забезпеченні. Компанії можуть використовувати, модифікувати та продавати продукти, побудовані на Inkling-Small, якщо вони дотримуються правил атрибуції ліцензії та переглядають будь-яку політику прийнятного використання, яку Thinking Machines публікує разом з нею.
Чи можна довіряти цій моделі для важливих рішень?
Результати фактичного знання Inkling-Small відстають від більшої Inkling, і її оцінка за одним індексом фактів є негативною, що означає, що вона падає нижче базової лінії за охопленням загального знання. Будь-яка організація, яка використовує її для медичних, юридичних чи фінансових рішень, повинна вбудувати пошук з перевірених джерел і людський аналіз результатів.
