Ondes cérébrales et muscles empruntés : les fermes de données inhabituelles qui entraînent les robots de demain

Points clés

• Encord, une entreprise de traitement de données basée à San Leandro, en Californie, collecte les lectures d'ondes cérébrales des travailleurs humains pour construire des données d'entraînement plus riches pour les robots.
• Les capteurs d'ondes cérébrales proviennent de Zander Labs, une startup allemande de neurosciences, et le projet est actuellement un essai pilote pour tester si les données améliorent réellement les performances des robots.
• Le responsable de l'apprentissage robotique d'Encord estime qu'il faudrait un ensemble de données environ cinq fois plus volumineux que l'ensemble de la vidéothèque YouTube pour faire avancer significativement l'IA physique.
• La génération de données d'entraînement physiques coûte de l'argent réel, contrairement au scraping textuel quasi gratuit qui a construit les modèles de chatbot d'aujourd'hui.
• Un nombre croissant de startups traitent désormais la création de données d'entraînement comme une entreprise à part entière, et non simplement comme un problème de recherche.

Andrew Ceja retire des blocs de bois d'une tour Jenga. Le casque qu'il porte ne rend pas cette tâche simple.

Ceja travaille chez Encord, une entreprise qui crée des outils pour entraîner des modèles d'IA. Son titre de poste est « pilote », le mot d'Encord pour désigner un formateur robotique : une personne dont les mouvements et les décisions deviennent des leçons pour le logiciel robotique. Le casque enregistre ce qu'il voit. Il lit aussi ses ondes cérébrales.

Pourquoi quelqu'un suivrait-il les ondes cérébrales d'un travailleur ?

L'idée est de donner au logiciel robotique des indices plus riches sur ce que représente réellement une tâche de l'intérieur. Une vidéo standard de quelqu'un tirant un bloc d'une tour indique au robot ce que la main a fait. Les données d'ondes cérébrales du même moment peuvent signaler quand le travailleur s'est senti incertain, a commis une erreur mentale ou a été pris de court.

Le casque a été construit par Zander Labs, une startup allemande de neurosciences. Lucas Gehrke, un neuroscientifique de Zander supervisant le projet, affirme que le niveau d'activité cérébrale à tout moment pendant une tâche peut aider les constructeurs de modèles à décider quand leur logiciel doit fonctionner le plus dur. Encord appelle cela un essai pilote : construire un ensemble de données initial étiqueté par ondes cérébrales, le tester sur des modèles robotiques réels, voir s'il fait bouger les choses avant d'augmenter l'échelle.

Quel est le problème réel que ces entreprises essaient de résoudre ?

L'IA robotique est bloquée par une pénurie de données. L'IA chatbot derrière des outils comme ChatGPT a été entraînée sur essentiellement l'ensemble d'Internet, des milliards de pages de texte collectées à presque aucun frais. L'IA physique, celle qui apprend à un bras robotique à verser un café ou débrancher un câble, ne peut pas faire la même chose. On ne peut pas scraper un entrepôt sur le web.

Vineeth Velmurugan, responsable de l'apprentissage robotique chez Encord et ancien membre du laboratoire robotique d'OpenAI, expose le fossé clairement. Il estime que l'atteinte d'une véritable percée en IA physique nécessiterait un ensemble de données environ cinq fois plus volumineux que l'ensemble de la vidéothèque YouTube. « Les données n'existent simplement pas », a-t-il déclaré à TechCrunch AI.

Pour la construire, Encord exploite une installation à San Leandro où les travailleurs utilisent des dispositifs maître-esclave, des bras robotiques appairés où un humain en contrôle un et l'autre copie chaque mouvement, pour générer des vidéos de tâches comme verser un café et empiler des jetons de poker. Des rayonnages de stockage contiennent des fleurs artificielles, des légumes en plastique, des sacs de câbles pour alimenter l'entraînement robotique sur les tâches ménagères et d'entrepôt.

Encord équipe également les travailleurs de capteurs de lecture musculaire sur leurs avant-bras. La vidéo des mains manipulant des objets manque souvent une partie de la main ; les capteurs d'avant-bras lisent les signaux électriques que les muscles produisent et permettent à Encord de construire une image tridimensionnelle de la position de la main à chaque moment.

Chaque clip vidéo reçoit une étiquette écrite : « la main droite serre le boulon », par exemple. Velmurugan affirme que ce type d'annotation détaillée vaut cent fois plus que la vidéo non étiquetée pour entraîner des compétences spécifiques, et ne coûte que vingt fois plus à produire. Bon marché sur papier. En pratique, cela coûte toujours de l'argent réel, ce qui est exactement là où la comparaison entre l'IA robotique et l'IA chatbot s'effondre.

Nous avons suivi ce problème de rareté des données à travers 103 histoires de robotique au cours des 30 derniers jours, et la conclusion cohérente est que le matériel et l'architecture des modèles sont en avance sur les données nécessaires pour les conduire.

Devriez-vous vous inquiéter ?

Pas aujourd'hui. Mais Ceja et sa collègue Sofia Infante font un métier qui n'existait pas il y a quelques années : fabriquer la matière première dont le logiciel robotique apprend. À mesure que ce logiciel s'améliore, les robots qu'il entraîne prendront en charge une plus grande partie du travail physique effectué par des personnes dans les entrepôts, les centres de données ou les maisons.

Le jugement honnête de ce secteur : l'angle des ondes cérébrales est véritablement intéressant et probablement sous-estimé, mais l'histoire plus grande est économique. Construire des données d'entraînement physiques à grande échelle coûte des ordres de grandeur plus cher que le scraping de texte ne l'a jamais été. Celui qui résoudra ce problème de coûts, pas seulement le problème technique, aura le vrai pouvoir sur la direction que prendra ensuite l'IA physique.