Відкриті моделі AI дозволяють компаніям будувати системи, які вони насправді мають. Ось як це виглядає.

Ключові моменти

• Harvey, юридична AI-компанія, здійснила постfinetuning NVIDIA Nemotron 3 Ultra на власному юридичному бенчмарку та досягла результатів провідних закритих моделей при щонайменше 10-кратно нижчій вартості за запит.
• Arcee AI досягла витрат на інференцію близько 90 центів за мільйон вихідних токенів на Nemotron, приблизно в 20 разів дешевше, ніж порівнювані закриті передові моделі.
• Модель Holotron 3 Nano компанії H Company набрала понад 76% на OSWorld-Verified, бенчмарку реальних комп'ютерних завдань, водночас відповідаючи провідним передовим моделям при дробу вартості.
• LangChain налаштував свою фреймворк агентів для Nemotron 3 Ultra без перенавчання моделі та досяг найкращої точності агентів серед відкритих моделей при приблизно 10-кратно нижчій вартості, ніж закриті альтернативи.
• YTL AI Labs здійснила постfinetuning моделі Nemotron для малайзійської мови, зробивши локально кастомізований AI доступним для спільноти розробників Малайзії.

Більшість компаній, які хочуть використовувати AI сьогодні, стикаються з однією спільною проблемою. Великі потужні моделі від OpenAI, Google та Anthropic — це закриті системи. Ви можете направляти їм запитання. Але ви не можете заглянути всередину, змінити те, що вони знають, або запускати їх на власних серверах, не маршрутизуючи свої дані через чужі системи.

Для лікарні або юридичної фірми це має велике значення.

NVIDIA позиціонує своє сімейство відкритих моделей Nemotron, тобто моделей, внутрішня робота яких повністю доступна для інспекції та модифікації, як рішення цієї проблеми. Публікація в блозі компанії цього тижня показує, як це виглядає на практиці, з конкретними цифрами.

Юридичний AI-стартап Harvey здійснив постfinetuning Nemotron 3 Ultra на власному внутрішньому юридичному бенчмарку. Результат відповідав точності найкращих закритих комерційних моделей на складних юридичних завданнях при вартості, яка, за словами NVIDIA, щонайменше в 10 разів нижча за запит. Це не просто заокруглення. Для фірми, яка проводить тисячі перевірок документів на місяць, економія швидко накопичується.

Glean розробила продукт під назвою Waldo — інструмент пошуку по корпоративних даних, поєднавши Nemotron з більшою закритою моделлю. Waldo надає відповіді швидше та використовує менше токенів — малих одиниць тексту, які обробляють моделі AI, що безпосередньо зменшує обчислювальні витрати.

Arcee AI пішла ще далі в питанні вартості. Запустивши Nemotron на апаратній платформі NVIDIA Blackwell, покоління чипів, яке прийшло на зміну попередньому Hopper, компанія знизила витрати на інференцію до близько 90 центів за мільйон вихідних токенів. Порівнювані закриті передові моделі коштують приблизно в 20 разів дорожче для тієї ж роботи.

Не кожен варіант використання стосується юридичної сфери або вартості. YTL AI Labs здійснила постfinetuning моделі Nemotron спеціально для малайзійської мови, створивши кастомізований AI, для розробки якого глобальний провайдер мав би мало комерційних причин.

Abridge та Heidi Health обидві застосовують кастомізовані моделі Nemotron до клінічної документації — трудомісткої роботи перетворення розмови лікаря та пацієнта у структурований медичний звіт. Помилка тут може мати серйозні наслідки, що саме тому ці команди хочуть повної прозорості в тому, як було навчено їх модель, та можливості виправити її, коли вона не задовольняє.

Чи повинні компанії повністю відмовитися від закритих моделей?

Ні. Власний підхід NVIDIA говорить, що відкриті та закриті моделі найкраще працюють разом. Потужна універсальна модель може впоратися зі складним плануванням, тоді як менша спеціалізована відкрита модель виконує конкретні завдання при нижчій вартості. Подумайте про це як використання дорогого спеціаліста для складного судження та добре навченого універсала для звичайної роботи.

Практичний аргумент на користь відкритих моделей полягає не в тому, що вони перевищують закриті за кожним завданням сьогодні. Він полягає в тому, що ви володієте тим, що будуєте. Ви можете тестувати це на власних даних, покращувати його, коли він відмовляє, і утримувати свою найбільш чутливу інформацію від серверів третіх сторін. Для індустрій, де неправильна відповідь має юридичні або клінічні наслідки, такий контроль не є необов'язковим.