Nouvelle étape franchie dans l’univers des technologies d’intelligence artificielle.
Découvrez Kyutai REKI : le modèle VLA de 2,4 milliards de nœuds qui apporte une gestion efficace de la mémoire à la manipulation robotique
Kyutai, en collaboration avec l’Inria et l’École des Ponts, a lancé REKI, un modèle « vision-langage-action » (VLA) de 2,4 milliards de paramètres destiné à la manipulation robotique. Le modèle vision-langage-action REKI a été pré-entraîné exclusivement sur des données publiques. Il conserve également une trace minimaliste de son passé récent. Sur trois tests de performance hors distribution, seuls des modèles dont la taille était environ deux fois supérieure à la sienne l’ont surpassé. Tous les poids sont disponibles dès aujourd’hui sur Hugging Face.
Il faut souligner, rEKI est un système « vision-langage-action » développé par Kyutai qui met en correspondance les vues de la caméra et une instruction avec les actions du robot. Il associe un réseau de base aQwen 3.5-2B à un expert d’action de 200 millions de paramètres. Cet expert génère des segments d’action par correspondance de flux, intégrés en 10 pas d’Euler. L’état du robot et le temps de flux sont pris en compte via une norme RMS adaptative. Chaque configuration d’état du robot dispose de son propre petit réseau neuronal multicalque (MLP) d’état.
La plupart des VLA agissent uniquement sur l’image actuelle. Les méthodes utilisant la mémoire antérieure transmettent les images précédentes au VLM, déploient l’apprentissage ou ajoutent des modules. Chaque option entraîne un surcoût.
REKI intègre plutôt la mémoire au sein de l’expert d’action. Avant les jetons d’action de chaque image se trouvent 32 jetons de registres appris. Ceux-ci effectuent une attention croisée entre la prompt codée et les vues de cette image. Ils effectuent également une attention sur les registres des images précédentes.
Les registres ne lisent jamais les jetons d’action. Ils dépendent donc uniquement des observations, et non du temps d’exécution ni de l’état du robot. Ils sont calculés une fois par image et mis en cache dans une fenêtre glissante.
D’un autre côté, la mémoire permet par ailleurs de corriger un mode de défaillance. Sans elle, les bras oscillent souvent entre deux positions. Sur RoboTwin, la fréquence des épisodes d’oscillation passe de 18,6 % à 4,1 % grâce à la mémoire. Kyutai attribue ce phénomène à l’aliasing perceptuel.
REKI est pré-entraîné une seule fois, puis affiné séparément pour chaque benchmark. Les scores ci-dessous proviennent de la fiche du système et de la page du projet.
Le pré-entraînement est particulièrement efficient sur les données hors distribution. Il apporte un gain de 13,8 points sur Clean2Rand et de 30,3 points en présence de bruit. La mémoire apporte un gain de 1,5 point sur LIBERO-Plus et de 5,4 points sur RoboCasa365.
Pour les professionnels du domaine, cette annonce mérite d’être surveillée.
Sur le même sujet :
- Meta lance un modèle d’IA à poids ouvert compatible avec les Mac | TechCrunch
- NVIDIA lance Nemotron 3.5 Super VL, un modèle d’IA d’agent multimodal ouvert de 120 milliards de paramètres
Article original : MarkTechPost : MarkTechPost