Una Conversazione IA Perfetta Può Comunque Significare un Prodotto Difettoso, Avvertono i Leader del Settore

Punti chiave

• Harrison Chase, CEO di LangChain, ha dichiarato a VB Transform 2026 che molti team soffrono di "paralisi da valutazione" e non lanciano mai prodotti perché inseguono una suite di test perfetta prima del lancio.
• Hui Zhang, CTO di Conviva, ha dimostrato come una singola conversazione IA possa ottenere un buon punteggio isolatamente mentre nasconde un problema a livello di categoria visibile solo confrontando migliaia di utenti rispetto a un baseline.
• LangChain ha messo a punto il proprio piccolo modello IA per individuare gli errori percepiti dagli utenti a un costo da 10 a 100 volte inferiore rispetto all'utilizzo di Claude Sonnet di Anthropic, un modello IA commerciale leader.
• Tutti e tre i dirigenti hanno concordato che l'approvazione umana rimane essenziale nei settori regolamentati come quello legale, finanziario e sanitario, anche mentre il controllo automatizzato si espande.

Immagina un cliente che chiede a un assistente IA per lo shopping scarpe da corsa prima di una mezza maratona. L'assistente pone alcune domande, il cliente acquista un paio e la conversazione termina. Valuta questa interazione isolatamente: sembra tutto ok.

Ora osserva il quadro completo. Su migliaia di conversazioni simili, l'assistente ha posto domande di chiarimento tre volte più spesso del normale per quella categoria di scarpe. I clienti hanno completato i loro acquisti al di fuori della chat a cinque volte il tasso consueto. Chiaramente qualcosa non funziona. Ma non lo vedrai mai controllando una conversazione alla volta.

Questo era l'argomento centrale presentato a VB Transform 2026, come riportato per primo da VentureBeat, dove i leader di tre società di infrastrutture IA hanno descritto come i team aziendali stanno sbagliando completamente la valutazione degli agenti.

I team stanno misurando le cose giuste?

La maggior parte non lo fa. Hui Zhang, CTO di Conviva, una società di streaming-analytics, chiama l'approccio migliore "analisi contrastiva": confrontare un gruppo di utenti rispetto a un baseline storico piuttosto che assegnare punteggi ai singoli registri di chat. I punteggi singoli sembrano corretti. I modelli di popolazione rivelano il vero bug.

Harrison Chase, CEO di LangChain, la società dietro un framework popolare per la costruzione di agenti IA (software che può eseguire compiti multi-step autonomamente), ha aggiunto una seconda trappola. I team costruiscono suite di test esaustive prima del lancio, quindi non lanciano mai.

"A volte vediamo team che hanno quasi paralisi da valutazione," ha detto Chase. "I migliori team lanciano e poi iterano."

Il suo approccio: considera i criteri di valutazione come una specifica di prodotto vivente che si aggiorna man mano che emergono i problemi reali, non come una checklist che finisci una volta sola.

Emmanuel Turlay, direttore dell'ingegneria presso CoreWeave, un provider di cloud GPU (GPU si riferisce ai chip specializzati che fanno gli heavy number-crunching di cui l'IA ha bisogno), ha colpito lo stesso muro dal lato dell'ingegneria. Ha inseguito una copertura di test al 100 percento e ha comunque spedito bug. La sua soluzione: impostare prima un monitoraggio ampio sempre attivo, lasciare che i guasti reali ti insegnino quali test scrivere dopo.

Una volta che una categoria di problema emerge, hai anche una questione di costi. La regola di Turlay è iniziare con il modello IA più capace per provare che qualcosa è risolvibile, quindi passare a modelli più piccoli e economici per i controlli di routine. LangChain ha fatto esattamente questo. Ha messo a punto un modello Qwen (una famiglia di modelli open-source di Alibaba) per individuare i momenti in cui gli utenti sentivano che l'agente aveva commesso un errore. Il risultato ha eguagliato l'accuratezza di Claude Sonnet a una frazione del prezzo. Chase ha notato che alcuni guardrail non hanno nemmeno bisogno di un modello: il semplice pattern-matching di codice, chiamato regex, gestisce molti controlli a costo quasi zero.

La questione umana corre sotto tutto questo. Turlay ha attinto al suo precedente lavoro presso una società di auto a guida autonoma: anche dopo aver compresso il ciclo di test a due settimane, una persona doveva comunque approvare il modello prima che entrasse nel veicolo. La stessa logica si applica agli agenti IA che gestiscono consigli medici, decisioni finanziarie o documenti legali.

Chase è andato oltre, sostenendo che il controllo umano non è solo una rete di sicurezza. È il modo in cui il sistema impara. Senza feedback umano nel ciclo, l'agente non ha nulla su cui migliorare.