L’actualité du jour apporte un éclairage intéressant sur l’évolution du domaine.
NVIDIA AI lance Molt : un framework d’apprentissage par renforcement agentique natif pour PyTorch
La exploration en apprentissage par renforcement agentique implique une modification constante des algorithmes : nouveaux estimateurs, nouvelles étapes de pipeline, nouveaux schémas de rollout. Dans les frameworks courants, chaque modification doit traverser plusieurs couches : l’entraîneur, le backend distribué et le module de liaison pour le rollout. Ce surcoût est supporté par le chercheur à chaque itération.
D’un autre côté, molt, développé par l’équipe NeMo de NVIDIA, s’attaque directement à ce problème de coût. Il s’agit d’un framework d’apprentissage par renforcement (RL) agentique natif de PyTorch, dont l’objectif de conception sort de l’ordinaire : le code source doit être suffisamment compact pour qu’un chercheur puisse le mémoriser, et pour qu’un assistant de codage IA puisse le lire et le comprendre dans son intégralité. L’empreinte déclarée est d’environ 8,6 K lignes de code d’apprentissage par renforcement, mesurée en retraçant le graphe d’importation à partir du point d’entrée de l’apprentissage par renforcement de chaque framework. Cette même méthode dénombre environ 62 000 lignes pour « verl », 25 000 pour « slime » et 7 200 pour « OpenRLHF ».
Oui. Molt est distribué sous licence Apache 2.0 avec des codes de lancement, des scripts Slurm et un conteneur précompilé. Cependant, l’article de travaux de recherche le présente comme une infrastructure de recherche, et non comme un service de formation en production, et le matériel constitue le véritable obstacle. Les configurations fournies prévoient 2 nœuds équipés chacun de 8 GPU H100, répartis ainsi : 8 pour l’entraînement et 8 pour le déploiement.
Cela permet à Molt d’être à la portée des laboratoires de pointe et de ceux qui s’en rapprochent, des start-ups spécialisées dans l’IA et disposant de moyens financiers importants qui mènent des travaux de post-entraînement, des groupes de exploration en IA d’entreprise dans les secteurs de la finance, de la santé et de la robotique qui entraînent des agents dans des environnements propriétaires, ainsi que des laboratoires universitaires disposant d’un accès à des clusters H100/H200. Parmi les applications, on peut citer les agents utilisant des outils à divers étapes, les agents d’exécution de code, les environnements combinant vision et langage (la recette « geo3k » fournie), les boucles de récompense avec un grand modèle de langage (LLM) jouant le rôle de juge, de ce fait que la distillation « on-policy » vers un système « étudiant » plus petit.
Molt intègre Ray pour le placement et les files d’attente asynchrones, vLLM pour le déploiement, ainsi que NVIDIA AutoModel avec FSDP2 pour l’entraînement. Aucun de ces trois composants n’ayant fait l’objet d’un fork, les améliorations en amont sont intégrées sous forme de « container pin » plutôt que par rebase.
Autre élément, le runtime est constitué d’un pool d’agents, d’un ensemble de moteurs vLLM placés derrière un routeur de requêtes, et d’un seul acteur de politique entraînable. Un pool de streaming maintient les groupes de prompts en cours de traitement afin que les moteurs ne soient jamais à court de travail pendant l’entraînement de l’acteur. Le déploiement partiel met les moteurs en pause, diffuse les fragments de l’acteur via NCCL directement vers chaque moteur, et reprend les requêtes conservées au lieu de les rejeter.
Une chose est sûre : le secteur continue d’avancer à grande vitesse.
Pour aller plus loin :
Selon l’information initialement publiée par MarkTechPost : MarkTechPost