Le domaine de l’IA connaît encore aujourd’hui une évolution intéressante.
Google dévoile Gemini Robotics 2.0, qui promet une dextérité et une sécurité accrues
La gamme Gemini Robotics 2 comprend trois modèles, mais un seul est actuellement disponible à la vente.
De plus, les robots équipés des modèles d’IA Gemini de Google sont désormais plus performants. Avec le mise en service de Gemini Robotics 2, ces robots physiques sont désormais capables d’accomplir des tâches plus complexes, d’analyser en continu des environnements en constante évolution et de collaborer avec d’autres robots. Cela est dû à l’arrivée de trois nouveaux sous-modèles, dont l’un est accessible au public pour les développeurs dès aujourd’hui.
En parallèle, les vidéos de robots qui courent, dansent ou font des sauts périlleux arrière sont monnaie courante sur Internet depuis des années, mais ces machines étaient programmées pour accomplir des tâches grandement spécifiques. L’objectif de Gemini Robotics est de créer un robot polyvalent, capable de faire tout ce qu’un être humain peut faire. Les scientifiques de Google DeepMind parlent parfois d’« AGI physique ». En substance, il suffit de dire à un robot ce qu’il doit faire pour qu’il s’exécute. Avec la version 2.0, Google affirme que son intelligence artificielle dédiée à la robotique est capable de contrôler l’intégralité d’un robot humanoïde avec une dextérité améliorée, même pour les machines dotées de mains humanoïdes complexes.
Tout commence avec Gemini Robotics ER 2, un modèle amélioré de « raisonnement incarné » qui, selon DeepMind, représente une avancée significative par rapport à la version 1.6 précédente. Il est intégré à l’API Gemini Live, ce qui permet aux programmeurs de découvrir par eux-mêmes cette avancée supposée.
En parallèle, le Gemini Robotics ER 2 est ce qu’on appelle un modèle de langage visuel (VLM). Il est conçu pour comprendre les instructions et le monde qui l’entoure. La principale amélioration réside dans le fait que l’ER 2 est capable de traiter les flux vidéo en direct provenant des caméras du robot, ce qui autorise au système de suivre la progression du robot à mesure qu’il avance péniblement d’un pas à l’autre. Google précise que le modèle d’IA ER 2 de Gemini Robotics est capable de déterminer si une image vidéo est complète avec une précision de près de 60 %. Ce résultat est encore loin d’être parfait, mais il est nettement supérieur à celui de la version 1.6 ou à ce que permettent les capacités de compréhension visuelle des modèles d’IA concurrents.
Identifier des moments précis dans les flux vidéo est également essentiel pour mener à bien une tâche. Lorsque vous demandez à un robot de verser une tasse de café, vous souhaitez bien sûr qu’il sache quand s’arrêter. ER 2 semble y parvenir bien mieux, en identifiant ces moments clés avec une précision de près de 90 %. Lorsque les robots exécutent des tâches en différents étapes, le modèle de raisonnement incarné leur permet de comprendre les échecs en temps réel. Le système peut alors réessayer cette seule étape plutôt que de repartir du début. Par exemple, le robot peut simplement réajuster la position et le mouvement de sa main si une balle qu’il tente de saisir roule au loin ou si quelqu’un déplace un récipient.
C’est également grâce à cette récente version du raisonnement incarné que l’IA robotique améliorée de Google DeepMind est désormais capable de collaborer. Les démonstrations vidéo montrent l’Apollo 2 d’Apptronik et le Franka F3 Duo, plus simple, travaillant ensemble sur une tâche sans se gêner mutuellement. Même si les robots d’essai ne parviennent toujours pas à égaler la vitesse ni la grâce d’un être humain, les vidéos de démonstration comportent de nombreuses séquences en temps réel montrant les robots en action, et ceux-ci semblent en effet beaucoup moins hésitants qu’ils ne l’étaient lors des essais précédents.
La compréhension n’est qu’une première étape : faire en sorte que le robot se déplace dans le monde physique relève d’un autre système. Une fois la tâche définie, le modèle de vision-langage passe le relais à un modèle vision-langage-action amélioré, simplement appelé « Gemini Robotics 2 ». Ce modèle d’IA d’IA génère des actions robotiques à partir de ces instructions, de la même manière que d’autres systèmes génératifs créent du texte ou des images. Il existe également une version hors ligne à faible latence de ce système, appelée « Gemini Robotics On-Device 2 ». Ces modèles sont pour l’instant réservés à un petit groupe de testeurs.
Pour les professionnels du domaine, cette annonce mérite d’être surveillée.
Pour aller plus loin :
- Une faille fondamentale rend les modèles de langage de grande envergure (LLM) extrêmement vulnérables aux attaques
- L’IA est plus susceptible que les humains de faire preuve de partialité lors du recrutement
- La rumeur concernant « l’intelligence anthropique-physique » qui agite la communauté Twitter dédiée à l’IA | TechCrunch
Via Ars Technica AI : Ars Technica AI