Découvrez « Code-as-World » : une boucle agentique qui transforme des vidéos réelles en programmes de physique MuJoCo exécutables

L’actualité du jour apporte un éclairage intéressant sur l’évolution du domaine.

Découvrez « Code-as-World » : une boucle agentique qui transforme des vidéos réelles en programmes de physique MuJoCo exécutables

MirroS a publié « Code-as-World » : un paradigme qui représente les mondes physiques à travers des représentations exécutables de ces mondes. L’argument est précis et vérifiable : les pixels constituent la preuve d’une scène physique, et non son ontologie. Un modèle vidéo peut prédire des images plausibles sans jamais représenter la masse, le contact ou la gravité. Ainsi, au lieu de pixels, de éléments latentes ou de légendes, « Code-as-World » représente une scène sous forme de code exécutable — un fichier « scene.json » que MuJoCo peut exécuter, qu’un agent peut comparer à la vidéo source, et que n’importe qui peut modifier et resimuler. Une boucle agentique extrait ces programmes à partir d’images réelles en cinq itérations maximum. Ces mondes vérifiés deviennent alors des données d’entraînement dotées d’étiquettes physiques précises, ce que les vidéos réelles ne fournissent pas. Entraîné sur cet ensemble de informations de supervision, Code-as-World-VL-9B obtient un score de 55,4 MRA sur l’ensemble de validation QuantiPhy, soit un résultat supérieur à celui de Gemini-3.1 Flash (54,8) et d’environ 15 points supérieur à la meilleure référence « open-weight ».

Point notable, oui, au stade de la recherche et du prototype interne.Mirro a mis en ligne le dépôt GitHub et deux points de contrôle — Code-as-World-VL-4B et Code-as-World-VL-9B — sous licence Apache 2.0, optimisés à partir de Qwen3.5-4B et Qwen3.5-9B. Les deux sont des « safetensors » BF16 gérés par vLLM derrière un point de terminaison compatible OpenAI/v1, avec 16 images échantillonnées par vidéo et un paramètre –max-model-len de 4608.

Le rapport technique de MirroS soutient que les modèles vidéo, la reconstruction 3D et les légendes permettent chacun de restituer une partie d’une scène, mais qu’aucun d’entre eux ne autorise d’en restituer le mécanisme. Code-as-World représente une scène sous la forme d’une représentation du monde exécutable (EWR), un triplet p = (C, E, A) :

Dans la version publiée, ce triple se compile en un fichier `ascene.jsone` exécuté dans MuJoCo, avec deux moteurs interchangeables : un moteur d’animation (poses cinématiques) et un moteur physique (forces et contacts).

Parallèlement, la récupération d’un EWR à partir d’une vidéo est un problème inverse ; l’équipe l’aborde donc sous l’angle d’une exploration abductive. Un agent exécute les étapes suivantes : proposition → instanciation → exécution → rendu → vérification, pendant un maximum de K = 5 itérations. Pour une entrée vidéo, SAM 3 fournit des masques d’instance et des traces au niveau de l’image, VGGT-Omega estime la profondeur et la géométrie de la caméra, et SAM 3D génère des maillages par objet. Les itérations des candidats sont rétroprojetées dans la vue d’entrée et comparées, à des images clés sélectionnées, en termes de RVB, de profondeur, de masques et de trajectoires. Les divergences au niveau des images sont agrégées en un retour d’information structuré Δ qui guide la révision suivante ; lorsque le budget est épuisé sans que le résultat soit accepté, l’hypothèse est rejetée.

Avec un budget d’évaluation de cinq essais équivalent, la boucle surpasse l’échantillonnage indépendant « Best-of-5 » sur les mesures d’alignement visuel, l’IoU des objets, le Traj-ADE et la précision à 2 %D — et ce résultat se confirme avec le deuxième moteur d’exécution. Les vidéos candidates proviennent de WISA-80K après un filtrage axé sur le mouvement ; le ré-rendu « sim-to-real » utilise Wan2.2-VACE ainsi qu’un modèle vidéo interne.

La phase 1 consiste en un affinage supervisé sur 73 335 paires de données de qualité (QA) dans l’espace image, issues des ensembles RefCOCO/+/g, RefCLEF et GOT-10K, couvrant l’étendue, la position, le déplacement, la vitesse et l’accélération en pixels bruts. La phase 2 applique le GRPO à l’évaluation de la qualité visuelle (VQA) dans l’espace mondial, à partir de 1 585 mondes exécutables basés sur du texte et 988 mondes exécutables basés sur la vidéo, avec une notation basée sur la précision numérique normalisée à l’échelle, ainsi que sur des critères liés aux unités et au format. L’entraînement a été réalisé à l’aide de huit GPU NVIDIA H100.

Point notable, validation OnQuantiPhy (159 éléments, moyenne macro MRA sur 2S/2D/3S/3D) : 4B = 50,6, 9B = 55,4, raisonnement 27B = 58,6, contre 54,8 pour Gemini-3.1 Flash, 48,4 pour ChatGPT-5.1 et 40,2 pour le modèle de référence open-weight le plus performant, Qwen3-VL-32B-Instruct. L’ablation est la mesure la plus pertinente : les scores dans l’espace image seul s’élèvent à 44,2 (4B) et 50,9 (9B) ; l’ajout des deux sources de l’espace monde les porte respectivement à 50,6 et 55,4. L’ancrage au niveau des pixels s’améliore en outre : le modèle 9B passe de 63,7 à 68,3 sur RefCOCO et de 20,1 à 26,6 sur GOT-10K après l’apprentissage par renforcement en espace réel.

Les prochaines semaines permettront d’en mesurer la portée réelle.

À découvrir aussi :

D’après MarkTechPost : MarkTechPost