Votre chatbot IA n'est pas défaillant. C'est votre pipeline de données qui l'est.

Points clés

• La plupart des projets pilotes d'IA en entreprise s'enlisent avant d'être mis en service, et les problèmes de qualité des données du pipeline sous-jacent en sont plus souvent la cause que les limitations du modèle.
• Un système RAG, qui signifie recherche augmentée par génération et désigne un logiciel qui intègre les données métier réelles dans les réponses d'un modèle d'IA, ne peut pas corriger à lui seul les données source cassées ou contradictoires.
• Alimenter une base de données vectorielles, une sorte d'index consultable que les systèmes d'IA utilisent pour effectuer des recherches, avec des données non validées transporte directement ces mauvaises données dans les réponses de l'IA.
• Les contrôles de sécurité doivent être intégrés dans l'infrastructure de données elle-même, et non confiés au modèle d'IA par le biais d'instructions écrites.
• Les ingénieurs données affirment que la discipline de construction de pipelines de données fiables est désormais aussi importante que le choix du modèle d'IA à utiliser.

Les entreprises ont investi des millions dans les projets pilotes d'IA au cours des deux dernières années. Un nombre considérable de ces projets ne sont jamais parvenus jusqu'aux utilisateurs réels. Lorsque quelque chose se passe mal, le premier réflexe est d'incriminer le modèle d'IA : il était trop lent, il ne pouvait pas traiter assez d'informations à la fois, il n'était pas assez intelligent.

Naveen Ayalla, ingénieur données senior, affirme que ce réflexe est généralement erroné.

Dans un article de VentureBeat, Ayalla soutient que le modèle est presque jamais le problème à la racine. Le problème, c'est les données qui le nourrissent. Il qualifie ce schéma du « piège du nettoyage » : la croyance erronée selon laquelle vous pouvez déverser des données métier désorganisées, contradictoires et mal structurées dans un système d'IA en espérant que l'IA les trie.

Cela ne fonctionne pas ainsi.

Pourquoi l'IA ne peut-elle pas corriger les données elle-même ?

Elle ne le peut pas, car les dégâts surviennent avant même que l'IA ne voie l'information.

De nombreux systèmes d'IA en entreprise utilisent une configuration RAG. En termes simples : quand vous posez une question à l'IA, elle recherche d'abord dans un vaste index contenant les documents et dossiers de votre entreprise, extrait les éléments pertinents et les utilise pour formuler sa réponse. Cet index s'appelle une base de données vectorielles.

Le problème est que la construction de cet index est en soi un travail de données. Si les données métier originales contiennent des enregistrements clients en double, des informations obsolètes ou des champs qui ont des significations différentes selon les systèmes, ces erreurs s'inscrivent dans l'index. L'IA recherche alors dans un index défaillant et retourne des réponses défaillantes.

Aucune quantité de rédaction intelligente de requêtes, c'est-à-dire les instructions que vous donnez à un modèle d'IA, ne corrige un index corrompu. Ayalla est direct sur ce sujet : « Aucune quantité d'ingénierie de requête ne peut compenser un pipeline d'ingestion défaillant ».

Les conséquences ne sont pas abstraites. Un assistant IA travaillant à partir de données clients obsolètes ou contradictoires donnera des réponses incorrectes avec assurance. Il peut exposer des informations à des personnes qui ne devraient pas y avoir accès. Il sera imprévisible de façons qui sont difficiles à déboguer.

Les prescriptions d'Ayalla sont pratiques. Validez les données dès qu'elles entrent dans le système, pas des heures après dans un travail batch nocturne. Exécutez des vérifications automatiques qui détectent les modèles inhabituels, comme une soudaine inondation de champs vides, avant qu'ils ne corrompent l'index. Et ne demandez jamais au modèle d'IA lui-même de décider qui est autorisé à voir quelles données. Ce contrôle d'accès appartient à l'infrastructure de données, géré par une ingénierie appropriée, non par des instructions écrites dans une requête de chat.

Ce dernier point est important pour toute entreprise stockant des données sensibles. Informations personnelles, dossiers médicaux, données financières : si la sécurité au niveau des lignes est gérée en disant à l'IA « ne montre pas ceci aux utilisateurs non autorisés », c'est un risque de conformité en attente de devenir une violation.

À surveiller si votre organisation déploie des outils d'IA :

• Demandez si les données sous-jacentes ont été validées avant d'atteindre l'IA, non après.
• Vérifiez que les contrôles d'accès sont appliqués au niveau des données, et non uniquement par le modèle d'IA.
• Si l'IA donne des réponses incohérentes ou confidemment incorrectes, suspectez le pipeline de données avant d'incriminer le modèle.