Il tuo chatbot AI non è rotto. È la tua pipeline di dati.

Punti chiave

• La maggior parte dei pilot di AI enterprise si arresta prima di andare in diretta, e i problemi di qualità dei dati nella pipeline sottostante sono più spesso la causa rispetto ai limiti del modello.
• Un sistema RAG, che sta per retrieval-augmented generation e indica il software che inserisce i dati aziendali reali nelle risposte di un modello di AI, non può correggere i dati di origine rotti o contraddittori da solo.
• L'alimentazione di dati non convalidati in un vector database, una sorta di indice ricercabile che i sistemi di AI utilizzano per cercare, trasporta quei dati scadenti direttamente nelle risposte dell'AI.
• I controlli di sicurezza devono essere incorporati nell'infrastruttura dati stessa, non delegati al modello di AI attraverso istruzioni scritte.
• Gli ingegneri dati affermano che la disciplina di costruire pipeline di dati affidabili è ora importante quanto la scelta del modello di AI da utilizzare.

Le aziende enterprise hanno investito milioni in pilot di AI negli ultimi due anni. Un numero enorme di questi progetti non ha mai raggiunto gli utenti reali. Quando qualcosa va storto, il primo istinto è dare la colpa al modello di AI: era troppo lento, non poteva gestire abbastanza informazioni contemporaneamente, non era abbastanza intelligente.

Naveen Ayalla, ingegnere dati senior, sostiene che questo istinto è solitamente sbagliato.

Scrivendo su VentureBeat, Ayalla sostiene che il modello è quasi mai il problema di fondo. Il problema sono i dati che gli vengono alimentati. Chiama il modello la "Trappola della Pulizia": la convinzione errata che tu possa riversare dati aziendali disordinati, contraddittori e mal organizzati in un sistema di AI e aspettarti che l'AI li sistemi.

Non funziona così.

Perché l'AI non può semplicemente correggere i dati da sola?

Non può, perché il danno si verifica prima che l'AI veda mai le informazioni.

Molti sistemi di AI enterprise utilizzano una configurazione RAG. In termini semplici: quando poni una domanda all'AI, questo prima cerca un grande indice dei tuoi documenti e record aziendali, estrae i pezzi rilevanti e li utilizza per formare la sua risposta. Questo indice è chiamato vector database.

Il problema è che la costruzione di quell'indice è di per sé un lavoro di dati. Se i dati aziendali originali contengono record cliente duplicati, informazioni obsolete o campi che significano cose diverse in sistemi diversi, questi errori vengono incorporati nell'indice. L'AI quindi cerca un indice rotto e restituisce risposte errate.

Nessuna quantità di scrittura intelligente di prompt, ovvero le istruzioni che dai a un modello di AI, corregge un indice corrotto. Ayalla è diretto su questo: "Nessuna quantità di prompt engineering può compensare una pipeline di ingestione rotta".

Le conseguenze non sono astratte. Un assistente di AI che lavora con dati cliente obsoleti o contraddittori darà risposte sbagliate con sicurezza. Potrebbe esporre informazioni a persone che non dovrebbero vederle. Sarà imprevedibile in modi difficili da debuggare.

Le prescrizioni di Ayalla sono pratiche. Convalida i dati nel momento in cui entrano nel sistema, non ore dopo in un lavoro batch notturno. Esegui controlli automatici che catturino modelli insoliti, come un'improvvisa inondazione di campi vuoti, prima che corrompano l'indice. E non chiedere mai al modello di AI stesso di decidere chi è autorizzato a vedere quali dati. Questo controllo di accesso appartiene all'infrastruttura dati, gestito da una corretta ingegneria, non da istruzioni scritte in un prompt di chat.

Questo ultimo punto è importante per chiunque la cui azienda memorizzi dati sensibili. Dettagli personali, cartelle mediche, informazioni finanziarie: se la sicurezza a livello di riga è gestita dicendo all'AI "non mostrare questo agli utenti non autorizzati", è un rischio di conformità in attesa di diventare una violazione.

Cosa tenere d'occhio se la tua organizzazione sta distribuendo strumenti di AI:

• Chiedi se i dati sottostanti sono stati convalidati prima di raggiungere l'AI, non dopo.
• Verifica che i controlli di accesso siano applicati a livello di dati, non solo dal modello di AI.
• Se l'AI fornisce risposte incoerenti o confidentemente errate, sospetta la pipeline di dati prima di dare la colpa al modello.