Apple sta parlando con la startup che comprime l'AI gigante in un iPhone

Punti chiave

• PrismML, uno spinout del Caltech finanziato da Khosla Ventures, ha rilasciato pubblicamente martedì un modello di AI compresso che funziona su iPhone 15 o versioni successive.
• La startup afferma di aver ridotto il modello Qwen open-source di Alibaba da circa 54 GB a meno di 4 GB, una riduzione di dimensioni superiore a 13 volte.
• Apple sta conducendo i primi colloqui con PrismML per valutare la tecnologia per l'uso sui suoi dispositivi, come ha riferito a CNBC il CEO di PrismML Babak Hassibi.
• PrismML ha raccolto un finanziamento seed di 16,25 milioni di dollari a marzo 2025.
• I modelli compressi utilizzano da 10 a 15 volte meno memoria e generano risposte da 6 a 8 volte più velocemente rispetto alle versioni standard, secondo l'azienda.

Una startup della Silicon Valley dice di aver scoperto come comprimere un potente modello di AI, il tipo di software che alimenta chatbot come ChatGPT, fino a una dimensione abbastanza piccola da funzionare interamente su un iPhone. E Apple sarebbe interessata.

PrismML, un'azienda nata dal California Institute of Technology, ha rilasciato pubblicamente martedì versioni compresse del modello open-source Qwen di Alibaba. Qwen normalmente occupa circa 54 gigabyte di archiviazione. PrismML dice di averlo ridotto a meno di 4 gigabyte, mantenendo intatti tutti i suoi 27 miliardi di punti dati interni, chiamati parametri.

Il CEO Babak Hassibi ha detto a CNBC che Apple e altre aziende non identificate stanno testando attivamente i modelli della startup, misurando velocità, consumo energetico e prestazioni complessive su dispositivi reali. Ha definito i colloqui con Apple molto iniziali, ma ha detto che "le cose stanno procedendo bene".

Il rilascio è arrivato un giorno dopo che Apple ha aperto il beta pubblico di iOS 27, che dà ai proprietari di iPhone il loro primo sguardo ampio al rinnovamento a lungo atteso di Siri da parte dell'azienda.

Perché è importante se l'AI funziona sul tuo telefono?

Eseguire l'AI direttamente su un dispositivo, invece di inviare la tua richiesta a un server lontano e aspettare che la risposta torni indietro, è più veloce e mantiene i tuoi dati sul telefono. Questo è più importante quando le informazioni sono personali: cartelle cliniche, programmi di assunzione di farmaci, foto. Significa anche che determinate funzioni funzionano senza alcuna connessione a Internet.

Apple gestisce già alcune attività localmente, inclusa la traduzione e il riassunto di base. Le richieste più impegnative vanno al cloud. L'azienda vuole invertire questo equilibrio.

Il trucco di PrismML è semplificare drasticamente il modo in cui i valori vengono archiviati all'interno di un modello. Un modello standard archivia ogni valore utilizzando 16 stati possibili, come una scala di misurazione molto precisa. PrismML comprime ogni valore fino a solo uno o tre stati possibili. Pensala come il passaggio da un righello con gradazioni fini a un semplice interruttore on-off. Questo riduce drasticamente l'utilizzo della memoria.

L'azienda dice che il compromesso è una piccola diminuzione della precisione. Il richiamo fattuale si indebolisce per primo. Competenze come il ragionamento e la matematica reggono meglio.

Gli analisti hanno accolto favorevolmente il concetto ma hanno invitato alla cautela. Tarun Pathak di Counterpoint Research ha affermato che le prestazioni su milioni di query reali, su migliaia di diverse combinazioni di dispositivi, sono la vera prova. Phil Solis dell'IDC ha segnalato l'autonomia della batteria come la più grande domanda aperta: un modello utilizzato continuamente in background potrebbe scaricare un telefono anche se richiede meno memoria.

Per gli utenti quotidiani di iPhone, nulla cambia ancora. Questa è una trattativa commerciale, non un aggiornamento software. Ma se Apple e PrismML raggiungono un accordo, i futuri miglioramenti di Siri potrebbero arrivare più velocemente, funzionare offline e gestire informazioni più sensibili senza che escano mai dalla tua tasca.

PrismML sta rilasciando gratuitamente due versioni di modello compresso, compatibili con iPhone, MacBook e PC Windows con Nvidia. Il modello Gemma di Google è il prossimo nella pipeline dell'azienda.