ByteDance sta costruendo uno dei più grandi modelli di intelligenza artificiale mai creati

Punti chiave

• ByteDance sta addestrando un modello di intelligenza artificiale con fino a 10 trilioni di parametri, secondo tre persone a conoscenza del progetto.
• Questa cifra è tre volte più grande di Kimi K3, il più grande modello di intelligenza artificiale cinese rilasciato pubblicamente fino ad oggi.
• Il modello è nella fase di pre-addestramento, un processo che in genere richiede da tre a sei mesi prima di qualsiasi rilascio pubblico.
• Il conteggio finale dei parametri non è stato bloccato e sarà confermato solo in una fase successiva dello sviluppo.
• Se completato, il modello si avvicinerebbe alla scala dei sistemi di intelligenza artificiale più avanzati di Anthropic.

ByteDance, l'azienda cinese dietro TikTok, sta costruendo silenziosamente quello che potrebbe diventare uno dei più grandi modelli di intelligenza artificiale al mondo. Tre persone familiari con il progetto hanno raccontato a Ars Technica che il modello potrebbe raggiungere 10 trilioni di parametri, un numero che merita qualche spiegazione.

Un parametro è una piccola impostazione interna all'interno di un modello di intelligenza artificiale. Più parametri ha un modello, più schemi può imparare dai dati e, in generale, più diventa capace in compiti come la scrittura, il ragionamento e la risposta a domande. GPT-4, il modello che alimenta ChatGPT, è ampiamente stimato avere circa 1,8 trilioni di parametri. Dieci trilioni sarebbero una bestia molto diversa.

Per confronto, Kimi K3 di Moonshot, attualmente il più grande modello di intelligenza artificiale rilasciato da qualsiasi azienda cinese, ha circa 3,3 trilioni di parametri. Il progetto di ByteDance sarebbe tre volte quella dimensione.

A che stadio siamo?

In questo momento il modello è in quella che gli ingegneri chiamano pre-addestramento: la fase iniziale e più lunga della costruzione di un'intelligenza artificiale, in cui il sistema legge enormi quantità di testo e dati per imparare le abilità linguistiche e di ragionamento di base. Pensalo come l'intelligenza artificiale che va a scuola prima che inizi qualsiasi formazione professionale specializzata. Questa fase in genere richiede da tre a sei mesi.

Dopo il pre-addestramento, gli ingegneri eseguono una seconda fase chiamata fine-tuning, in cui il modello viene addestrato su compiti più specifici e affinato per l'uso nel mondo reale. Solo allora ByteDance considererebbe un rilascio pubblico, e solo se i risultati sembrano buoni.

È importante sottolineare che la cifra di 10 trilioni non è definitiva. Una delle fonti ha detto che la dimensione esatta sarà decisa solo più avanti nel processo. Il numero di riferimento potrebbe cambiare.

Perché questo importa alle persone comuni?

I modelli più grandi tendono a produrre risultati migliori su problemi difficili: documenti legali complessi, domande mediche, compiti di codifica multi-step. Se ByteDance rilascia un modello di questa scala, darebbe all'azienda uno strumento serio per competere con laboratori statunitensi come Anthropic e OpenAI nel mercato globale dell'intelligenza artificiale.

Segnala anche quanto velocemente le aziende cinesi stanno riducendo il divario. Un anno fa, il divario tra l'intelligenza artificiale di frontiera americana e cinese sembrava ampio. Oggi si sta riducendo rapidamente.

Per i consumatori, il risultato pratico è più concorrenza, che storicamente spinge i prezzi verso il basso e la qualità verso l'alto. ByteDance già gestisce prodotti di intelligenza artificiale incluso il suo chatbot, Doubao, che ha decine di milioni di utenti dentro la Cina.

Nulla di questo è ancora un prodotto finito. L'addestramento può fallire, i risultati possono deludere e le aziende regolarmente mettono da parte modelli che non si comportano come sperato. Ma la pura scala del tentativo ti dice qualcosa su dove sono puntate le ambizioni di ByteDance.