Le développement de l’intelligence artificielle (IA) vise de plus en plus à adapter les robots à des environnements complexes et dynamiques, loin des tâches répétitives des usines. Cette évolution, décrite par Microsoft Research, s’accélère avec l’émergence de systèmes vision-langage-action (VLA) qui allient perception, raisonnement et mouvement dans un modèle unifié.
Annonce de Rho-alpha
Dans cette optique, Microsoft a récemment présenté Rho-alpha, son premier modèle de robotique issu de sa série de modèles VLA, Phi. L’entreprise invite diverses organisations à tester ce modèle dans le cadre d’un Programme d’accès précoce à la recherche, et vise à le proposer plus tard via Microsoft Foundry. Ashley Llorens, Vice-Président et Directeur Général de Microsoft Research Accelerator, souligne que ces modèles VLA pour systèmes physiques permettent aux robots d’agir avec une autonomie accrue dans des environnements moins structurés, en interagissant efficacement aux côtés des humains.
Une nouvelle ère pour la robotique
Microsoft positionne Rho-alpha comme un point de rupture pour la robotique, similaire à l’impact des grands modèles génératifs sur le traitement du texte et des images. L’idée centrale est d’allier la compréhension de la langue à la perception du monde réel, permettant ainsi aux robots de gérer de nouvelles missions avec un minimum de reprogrammation.
Bimanuel et compréhension naturelle
Conçu spécifiquement pour traduire des commandes en langage naturel en signaux de contrôle pour effectuer des tâches en bimanual, Rho-alpha est essentiel car de nombreuses activités réelles nécessitent une coordination précise et des mouvements délicats, comme l’utilisation d’outils ou le conditionnement. Microsoft a partagé des exemples d’instructions que l’on pourrait donner à un robot, telles que :
- “Appuyez sur le bouton vert avec le préhenseur droit.”
- “Tirez sur le fil rouge.”
- “Déplacez le curseur supérieur à la position 2.”
Ces instructions représentent le type d’ordre que les humains sont naturellement enclins à donner, que les robots traditionnels ont souvent du mal à exécuter sans une programmation ou un matériel spécialisé approfondis. En comblant ce fossé, des modèles comme Rho-alpha pourraient rendre les robots plus faciles à déployer dans des environnements dont les flux de travail changent fréquemment.
Microsoft a également montré une démonstration avec BusyBox, un cadre d’interaction physique. Dans cette démonstration, Rho-alpha interagissait avec l’appareil tout en répondant à des commandes exprimées de manière naturelle, soulignant ainsi son potentiel pour une exécution réactive et séquentielle des tâches.
Rho-alpha comme modèle VLA+
Microsoft décrit Rho-alpha comme un modèle VLA+, ce qui implique qu’il va au-delà des entrées classiques de vision et de langage. En intégrant la tactilité pour la perception, Rho-alpha se distingue par sa capacité à incorporer d’autres modalités, comme la force. Ce développement est crucial pour des tâches telles que l’insertion de prises ou la manipulation d’objets inconnus, où le retour d’information tactile est déterminant.
En termes d’apprentissage, l’objectif est de permettre à Rho-alpha de s’améliorer continuellement pendant son utilisation, en apprenant des retours donnés par les utilisateurs. Cela pourrait réduire le temps nécessaire à la réinitialisation des modèles, en permettant aux robots de s’adapter aux spécificités d’un environnement donné.
Les défis du manque de données
Un des plus grands défis en robotique est le besoin en données. Contrairement aux modèles linguistiques, qui peuvent s’entraîner sur d’énormes volumes de textes en ligne, les robots nécessitent des données ancrées dans l’expérience physique. Collecter ces expériences par des démonstrations réelles est un processus long et coûteux.
Microsoft combine des démonstrations physiques avec de la simulation et des données issues de grandes séries de questions visuelles sur le web, afin d’aider le modèle à comprendre des concepts visuels et linguistiques tout en développant des compétences physiques par une interaction concrète.
L’importance de la simulation
Pour pallier le manque de données en robotique, la simulation joue un rôle clé selon Microsoft. En utilisant le cadre ouvert Nvidia Isaac Sim, ils génèrent des données synthétiques à travers un processus basé sur le renforcement. Ces trajectoires simulées sont alors associées à des ensembles de données de démonstration physique.
Cette approche montre comment l’infrastructure cloud devient essentielle dans le développement robotique. Plutôt que de se limiter à des modèles entraînés sur site, les entreprises pourraient utiliser des simulations basées sur le cloud pour des itérations plus rapides et des mises à jour plus fréquentes des modèles.
L’intervention humaine
Malgré des avancées significatives, Microsoft reconnaît que les robots peuvent encore commettre des erreurs difficiles à corriger. Des opérateurs humains peuvent fournir une assistance en temps réel grâce à des outils de téléopération. Microsoft travaille aussi sur des techniques permettant à Rho-alpha d’apprendre des retours correctifs fournis par les utilisateurs.
des exemples d’instructions pour configurer un système à double bras UR5e équipé de capteurs tactiles pourraient inclure :
- “Prenez le câble d’alimentation et insérez-le dans la prise basse du parasurtenseur.”
- “Mettez le plateau dans la boîte à outils et fermez-la.”
- “Prenez le plateau de la boîte à outils et mettez-le sur la table.”
Cela met en lumière une réalité à court terme : les déploiements pratiques pourraient nécessiter une autonomie partagée, où les humains interviennent lors de certaines situations critiques pendant que les systèmes s’améliorent progressivement.
Vers une robotique personnalisable
Microsoft s’active à développer des technologies de base comme Rho-alpha et d’autres outils, permettant aux fabricants et utilisateurs d’entraîner, déployer et adapter en continu des systèmes d’IA physique basés sur le cloud à partir de leurs propres données. Si cela réussit, ce modèle pourrait transformer l’écosystème de la robotique, abaissant les barrières à l’adoption et permettant à davantage d’organisations de mettre en place des systèmes adaptés à leurs flux de travail uniques.
FAQ
Qu’est-ce que le modèle Rho-alpha ?
Rho-alpha est un système de robotique développé par Microsoft, conçu pour exécuter des tâches en utilisant des commandes en langage naturel tout en incorporant la perception tactile.
Quelle est l’importance de la simulation en robotique ?
La simulation permet de surmonter le manque de données en générant des expériences virtuelles qui aident les robots à apprendre et à s’adapter à différents scénarios.
Comment les robots apprennent-ils ?
Les robots comme Rho-alpha peuvent apprendre en interagissant avec des utilisateurs humains qui leur fournissent des retours sur leurs performances, ce qui leur permet de s’améliorer au fil du temps.
Pourquoi la flexibilité est-elle essentielle pour les robots modernes ?
La flexibilité permet aux robots de s’adapter à des environnements variés et en constante évolution, réduisant ainsi le besoin de reprogrammation extensive pour chaque nouvelle tâche.
Quelle est la vision de Microsoft pour l’IA physique ?
Microsoft souhaite créer une base adaptable pour l’IA physique, favorisant une collaboration efficace entre humains et robots dans des environnements moins structurés.
