I modelli AI aperti consentono alle aziende di costruire sistemi che realmente possiedono. Ecco come appare.

Punti chiave

• Harvey, un'azienda di AI legale, ha eseguito il post-training di NVIDIA Nemotron 3 Ultra sui suoi benchmark legali proprietari e ha eguagliato i modelli closed leader con costi almeno 10 volte inferiori per esecuzione.
• Arcee AI ha raggiunto costi di inferenza di circa 90 centesimi per milione di token di output su Nemotron, approssimativamente 20 volte più economico rispetto a modelli closed di frontiera comparabili.
• Holotron 3 Nano di H Company ha ottenuto un punteggio superiore al 76% su OSWorld-Verified, un benchmark di compiti informatici reali, eguagliando i modelli di frontiera leader a una frazione del costo.
• LangChain ha ottimizzato il suo framework di agenti per Nemotron 3 Ultra senza retreinamento del modello e ha raggiunto l'accuratezza massima degli agenti tra i modelli aperti a circa 10 volte il costo inferiore rispetto alle alternative closed.
• YTL AI Labs ha eseguito il post-training di un modello Nemotron per la lingua malese, rendendo l'AI personalizzato localmente disponibile alla comunità di sviluppatori della Malesia.

La maggior parte delle aziende che vogliono l'AI oggi affrontano lo stesso problema silenzioso. I grandi e potenti modelli di OpenAI, Google e Anthropic sono scatole chiuse. Puoi inviare loro domande. Non puoi guardare dentro, cambiare quello che sanno, o eseguirli sui tuoi server senza instradare i tuoi dati attraverso i sistemi di qualcun altro.

Per un ospedale o uno studio legale, questo ha molta importanza.

NVIDIA ha posizionato la sua famiglia Nemotron di modelli aperti, significando modelli i cui meccanismi interni sono completamente disponibili per ispezione e modifica, come la risposta a quel problema. Un articolo pubblicato questa settimana dall'azienda illustra come appare nella pratica, con numeri allegati.

La startup di AI legale Harvey ha eseguito il training di Nemotron 3 Ultra sul suo benchmark legale interno. Il risultato ha eguagliato l'accuratezza dei migliori modelli commerciali closed su compiti legali complessi, a un costo che NVIDIA afferma essere almeno 10 volte inferiore per esecuzione. Non è un errore di arrotondamento. Per uno studio che esegue migliaia di revisioni di documenti al mese, i risparmi si accumulano rapidamente.

Glean ha costruito un prodotto chiamato Waldo, uno strumento di ricerca per i dati aziendali, abbinando Nemotron a un modello closed più grande. Waldo fornisce risposte più velocemente e utilizza meno token, le piccole unità di testo che i modelli AI elaborano, che riducono direttamente i costi di calcolo.

Arcee AI ha spinto ulteriormente sui costi. Eseguendo Nemotron sulla piattaforma hardware Blackwell di NVIDIA, la generazione di chip che ha seguito la precedente generazione Hopper, l'azienda ha portato i costi di inferenza a circa 90 centesimi per milione di token di output. Modelli closed di frontiera comparabili costano approssimativamente 20 volte di più per lo stesso lavoro.

Non tutti i casi d'uso riguardano il diritto o il costo. YTL AI Labs ha eseguito il post-training di un modello Nemotron specificamente per la lingua malese, creando un'AI personalizzata che un fornitore globale avrebbe pochi motivi commerciali per costruire.

Abridge e Heidi Health stanno entrambi applicando modelli Nemotron personalizzati alla documentazione clinica, il compito dispendioso di trasformare una conversazione medico-paziente in una nota medica strutturata. Sbagliare questo ha conseguenze reali, che è esattamente il motivo per cui questi team vogliono visibilità completa su come il loro modello è stato addestrato e la capacità di correggerlo quando non è all'altezza.

Le aziende dovrebbero abbandonare completamente i modelli closed?

No. La stessa formulazione di NVIDIA afferma che i modelli aperti e closed funzionano meglio insieme. Un potente modello di uso generale può gestire la pianificazione complessa mentre un modello aperto più piccolo e specializzato esegue compiti specifici a costo inferiore. Pensalo come usare uno specialista costoso per la difficile decisione di giudizio e un generalista ben addestrato per il lavoro di routine.

L'argomento pratico per i modelli aperti non è che battono quelli closed in ogni compito oggi. È che possiedi quello che costruisci. Puoi testarlo contro i tuoi dati, migliorarlo quando fallisce, e tenere le tue informazioni più sensibili fuori dai server di terze parti. Per industrie dove una risposta sbagliata ha conseguenze legali o cliniche, questo controllo non è facoltativo.