Un cerveau robotique, mille mains : comment le modèle GEN-1 de Generalist apprend à utiliser n'importe quel outil

Points clés

• Le modèle fondationnel GEN-1 de Generalist, un cerveau IA unique pour les robots, prend désormais en charge environ 9 000 variations de mains robotiques et d'accessoires d'outils.
• Le modèle a été préentraîné sur plus de 500 000 heures de données d'interaction robotique réelle couvrant une large gamme de types d'outils.
• GEN-1 peut passer à un outil différent au milieu d'une tâche et adapter son approche sans être reprogrammé.
• Generalist mesure à quel point chaque nouvel outil modifie les paramètres internes du modèle pour identifier les lacunes dans ses données d'entraînement.
• L'entreprise n'a pas publié de résultats évalués par les pairs ; tous les chiffres et affirmations proviennent des annonces propres de Generalist.

Un robot capable de saisir un fouet, de le poser, de prendre une spatule et de continuer à cuisiner ressemble à de la science-fiction. Generalist, une entreprise d'IA en robotique, affirme que son dernier modèle constitue une avancée dans cette direction.

L'entreprise a détaillé cette semaine comment GEN-1, son modèle fondationnel (à considérer comme un cerveau IA à usage général contrôlant le corps d'un robot), fonctionne désormais sur une gamme inhabituellement large d'effecteurs terminaux. Un effecteur terminal est tout ce qui se trouve à l'extrémité d'un bras robotique : une pince, un tournevis, des pinces, un économe, ou une brosse. La plupart des systèmes robotiques sont construits autour d'un outil fixe unique. GEN-1 est conçu pour en gérer plusieurs.

Comment un unique modèle d'IA apprend-il à utiliser autant d'outils différents ?

Generalist a entraîné GEN-1 sur plus de 500 000 heures de données d'interaction robotique réelle couvrant des milliers de types d'outils. L'entreprise a établi un parallèle délibéré avec le langage : tout comme un modèle entraîné en français et en espagnol peut transférer ses connaissances entre ces deux langues, un modèle entraîné sur des fouets et des spatules peut construire une compréhension partagée de la façon dont les objets se comportent quand on les touche, pousse ou saisit.

Chaque outil enseigne quelque chose de différent au modèle. Un tournevis électrique tourne plus vite que les doigts. Les pinces fléchissent et reprennent leur forme. Un racloir métallique agit sur une surface plate plutôt que de s'enrouler autour d'un objet. Un cutter exige une pression régulière et contrôlée selon une ligne fixe. Ensemble, affirme Generalist, ces expériences construisent ce qu'elle appelle des « représentations sensorimotrices universelles », une sorte de bon sens physique qui se transfère entre les outils.

Le modèle a été entraîné sur environ 9 000 variations d'outils jusqu'à présent, selon l'entreprise.

Le robot peut-il vraiment changer d'outil au milieu d'une tâche ?

Oui, du moins selon les propres tests de Generalist. L'entreprise a démontré le changement d'outil sur le bras du robot tandis que GEN-1 était toujours en cours d'exécution. Le modèle a perçu la nouvelle pièce jointe, ajusté son plan et a continué vers le même objectif. Aucune reprogrammation. Aucun redémarrage.

Cela fonctionne, affirme Generalist, car l'entraînement sur des données mixtes force le modèle à prêter attention à l'outil qu'il tient actuellement, plutôt que de supposer un outil fixe.

Comment Generalist sait-elle ce que le modèle doit encore apprendre ?

L'entreprise suit à quel point un nouvel outil modifie les paramètres internes de GEN-1, appelés poids du modèle, quand le modèle est affiné (spécifiquement entraîné) sur cet outil. Un changement important signale que le modèle a trouvé quelque chose de réellement nouveau. Un petit changement signifie que les connaissances existantes l'ont déjà couvert.

Les fouets se sont avérés plus perturbants que les économes, par exemple. Le modèle a eu du mal avec la géométrie fine des fils d'un fouet, ce qui signifie que son traitement visuel avait besoin de plus d'entraînement sur les objets fins et épars. Cette découverte indique à Generalist exactement où collecter plus de données.

Ce sont des données internes à l'entreprise. Comme l'a rapporté The Robot Report, Generalist n'a pas encore publié de recherche évaluée par les pairs soutenant ces résultats, de sorte qu'une vérification indépendante est toujours en attente.

Qu'est-ce que cela signifie pour les personnes qui utilisent des robots au travail ?

Pour l'instant, il s'agit d'une technologie au stade de la recherche. Mais la direction importe. Si un unique modèle d'IA peut véritablement piloter une large variété d'outils, les usines, cuisines et entrepôts pourraient éventuellement avoir besoin de moins de robots spécialisés et de moins de reconfigurations coûteuses quand une tâche change.

La vision affichée par Generalist : non pas un robot avec une seule main, mais une intelligence appairée à l'outil que le travail exige.

Questions fréquentes

GEN-1 est-il disponible à l'achat ou à l'utilisation dès aujourd'hui ?

Generalist n'a pas annoncé la sortie d'un produit commercial. GEN-1 est actuellement un modèle de recherche ; l'entreprise publie des démonstrations de capacités tout en développant son ensemble de données d'entraînement.

Cela signifie-t-il que les mains humanoïdes deviennent moins importantes ?

Pas nécessairement, mais Generalist soutient que les mains à cinq doigts devraient être une option parmi tant d'autres plutôt que l'objectif par défaut. Les outils spécialisés surpassent souvent les mains de forme humaine pour des tâches spécifiques, et l'entreprise croit qu'un modèle d'IA capable devrait savoir lequel choisir.