Prima che il tuo Assistente AI invii quel trasferimento, sa quanto è sicuro?

Punti chiave

• Apple ML Research ha pubblicato uno studio sulla quantificazione dell'incertezza (UQ) per il function-calling degli AI, avvertendo che gli agenti AI troppo sicuri di sé possono causare danni irreversibili.
• I modelli di linguaggio di grandi dimensioni sono sempre più utilizzati per svolgere compiti nel mondo reale come trasferire denaro, prenotare voli o eliminare file per conto di un utente.
• La ricerca sostiene che misurare la fiducia del modello AI prima che agisca potrebbe prevenire errori costosi e difficili da invertire.
• I sistemi di function-calling attuali spesso eseguono azioni senza alcuna verifica interna su se l'AI sia effettivamente sicuro di fare la cosa giusta.

Immagina di chiedere a un assistente vocale di pagare la tua bolletta dell'elettricità. Sente la tua istruzione, decide quale conto bancario utilizzare, sceglie un importo e invia il pagamento. Fatto. Tranne: cosa succederebbe se avesse frainteso la tua istruzione? E se avesse inviato dieci volte l'importo? Il denaro è sparito.

Questo è il problema che i ricercatori di Apple ML Research hanno cercato di affrontare. Il loro lavoro si concentra su ciò che accade quando un modello di linguaggio di grandi dimensioni, la tecnologia alla base di chatbot come ChatGPT e Claude, ha la capacità di chiamare funzioni, il che significa che può effettivamente fare cose nel mondo invece di rispondere solo a domande in una finestra di chat.

Il function-calling è già ovunque. Quando un AI prenota un ristorante, interroga un database o invia un'email per tuo conto, sta utilizzando questa capacità. La comodità è reale. Così è il rischio.

I ricercatori sottolineano una lacuna che la maggior parte degli utenti non penserebbe mai di chiedere: l'AI sa quanto è sicuro prima di agire? Al momento, la maggior parte dei sistemi non lo verifica. Il modello prende una decisione e l'azione viene eseguita, indipendentemente dal fatto che l'AI fosse sicuro al 95% o stesse semplicemente indovinando.

La quantificazione dell'incertezza, o UQ, è il termine tecnico per misurare quel livello di fiducia. Pensalo come una checklist di un chirurgo: prima di operare, confermi di avere il paziente giusto, la procedura giusta, il sito giusto. L'idea qui è dare agli agenti AI una pausa simile, un momento integrato in cui il sistema chiede a se stesso se è veramente sicuro abbastanza per procedere.

Questo è più importante per le azioni irreversibili. Eliminare un file, inviare un pagamento, cancellare un abbonamento: questi sono i movimenti dove una decisione sbagliata è costosa o impossibile da annullare. Un agente AI sicuro di sé ma sbagliato è un problema molto più grande di uno esitante che chiede conferma.

Apple ML Research sostiene che i metodi UQ dovrebbero essere integrati nella pipeline stessa del function-calling, non aggiunti in seguito.

Gli utenti ordinari dovrebbero preoccuparsi adesso?

Non immediatamente, ma dovresti prestare attenzione ai compiti che affidi agli agenti AI. Il rischio aumenta quando gli strumenti AI ottengono più accesso ai tuoi account, file e servizi. Alcuni consigli pratici da tenere d'occhio:

• Se un'app offre automazione AI per azioni finanziarie, controlla se ti chiede di confermare prima di completare una transazione.
• Stai cauto nel concedere ai tool AI autorizzazioni ampie. Un accesso ristretto, limitato al solo compito di cui hai bisogno, riduce l'impatto di qualsiasi errore.
• Se un assistente AI agisce in modo che ti sorprende, segnalalo attraverso il canale di feedback dell'app. Questi rapporti aiutano davvero i ricercatori a trovare i casi di fallimento.

I ricercatori non stanno dicendo che gli agenti AI sono troppo pericolosi per essere utilizzati. Stanno dicendo che gli strumenti hanno bisogno di una verifica di fiducia prima di agire. È una cosa ragionevole da chiedere.