Nouvelle information marquante dans l’actualité IA.
NVIDIA lance Nemotron 3.5 Super VL, un modèle d’IA d’agent multimodal ouvert de 120 milliards de paramètres
NVIDIA vient de lancer Nemotron 3.5 Super VL, un modèle ouvert de vision et de langage conçu pour les agents d’entreprise fonctionnant en continu. Nemotron 3.5 Super VL est un système « mixture-of-experts » de NVIDIA comptant 120 milliards de paramètres, qui active 12 milliards de paramètres par token. Il lit du texte, des images, des documents et des vidéos, puis raisonne, appelle des outils et écrit du code, le tout au sein d’un seul et même modèle d’IA. Pour les programmeurs, un seul point de contrôle ouvert remplace à la fois un modèle de texte et un modèle de vision distincts. NVIDIA a également commercialisé deux modèles destinés à l’edge computing : le Nemotron 3.5 Bolt74B-A9B et le Bolt E4B.
Il s’agit d’un modèle d’agent multimodal ouvert. Il est distribué sous la licence OpenMDW-1.1. NVIDIA a en outre publié des jeux de données ouverts, des recettes d’entraînement et des environnements d’apprentissage par renforcement (RL) sur NeMo Gym.
La fiche du modèle répertorie les entrées de type texte, image et vidéo, avec une sortie sous forme de texte. Les vidéos sont limitées à des clips MP4 d’une durée maximale de 2 minutes. La fonction de raisonnement peut être activée ou désactivée via le modèle de chat.
L’architecture principale alterne des couches Mamba-2, des couches « mixture-of-experts » (MoE) et des couches d’attention. Chaque couche MoE contient 512 experts acheminés. Un encodeur d’images C-RADIO et un connecteur transmettent des images, des pages de documents et des images vidéo à l’architecture principale de traitement du langage.
Ce modèle est issu de Nemotron 3 Ultra. L’équipe de NVIDIA indique qu’il a été entraîné sur environ 26 000 milliards de tokens. La phase post-entraînement a mobilisé environ 3,8 millions d’échantillons, de cette manière qu’un apprentissage par renforcement (RL) dans des dizaines d’environnements. Un pré-entraînement complémentaire a permis d’ajouter 10 milliards de tokens en langues indiennes.
Tous les résultats ci-dessous ont été communiqués par NVIDIA et proviennent du point de contrôle NVFP4 sur la carte du modèle d’IA.
Précisons, lors des évaluations basées sur les harnais d’agents, Super VL surpasse Nemotron 3 Ultra. Il obtient un score de 63,44 % sur Hermes Bench, contre 56,33 %. Lors des évaluations LangChain, il obtient un score de 87,05 %, contre 84,3 %. Ultra compte environ 4,6 fois plus de paramètres au total.
L’équipe NVIDIA annonce plus de 600 jetons de sortie par seconde pour des tâches agentiques d’Artificial Analysis via un point de terminaison Baseten. Son graphique montre un écart de vitesse de 5 fois par rapport à Inkling Small.
En quelques mots :
- Tous les résultats ci-dessous ont été communiqués par NVIDIA et proviennent du point de contrôle NVFP4 sur la carte du modèle d’IA.
- Lors des évaluations LangChain, il obtient un score de 87,05 %, contre 84,3 %.
- Son graphique montre un écart de vitesse de 5 fois par rapport à Inkling Small.
L’écosystème continuera probablement de s’ajuster dans les semaines à venir.
Sur le même sujet :
Lire l’article complet sur MarkTechPost : MarkTechPost