NVIDIA lance la préversion publique de TensorRT Model Connect : conversion d'un checkpoint Hugging Face en inférence native C++ en deux commandes

L’innovation IA ne faiblit pas, comme en témoigne cette nouvelle annonce.

NVIDIA lance la préversion publique de TensorRT Model Connect : conversion d’un checkpoint Hugging Face en inférence native C++ en deux commandes

NVIDIA a lancé la préversion publique de TensorRT Model Connect (TRTMC), un projet open source qui permet, à partir d’un checkpoint Hugging Face ou local pris en charge, de passer à une inférence TensorRT de bout en bout en deux commandes seulement. Il n’y a pas d’étape intermédiaire d’exportation ONNX. La compilation génère un artefact « versioned.bundle » qui s’exécute via des API de tâches C++ natives, ce qui permet d’effectuer l’inférence dans un service C++, une application embarquée ou une pile robotique sans que PyTorch ne figure dans le chemin d’exécution. Le projet est sous licence Apache 2.0 et est fourni sous la forme d’un ensemble d’implémentations de référence indépendantes les unes des autres, plutôt que sous la forme d’un convertisseur générique unique. NVIDIA précise également que l’ensemble du projet — implémentations des modèles, optimisation des résultats, tests, intégrations et documentation — a été réalisé à l’aide des agents OpenAI Codex, sous la supervision et le contrôle de personnes.

En complément, oui, pour l’évaluation et le travail d’intégration native, dans des conditions réelles. Le code est open source et peut être installé. Les « wheels » de la version actuelle ne ciblent que Linux aarch64, avec Python 3.10 ou 3.12, glibc 2.39 ou une version plus récente, et TensorRT 11.1.0.106. Les fichiers « wheel » x86_64 ne sont pas publiés ; les utilisateurs x86_64 doivent passer par la méthode de compilation Dockersource.

Point notable, le fichier « same.bundle » est chargé depuis C++ à l’aide de la fonction trtmc::load(« ./qwen3-0.6b.bundle »).

TRTMC sépare la phase de compilation et l’exécution au niveau d’un artefact versionné. Python se charge de la résolution des points de contrôle et de la construction du moteur TensorRT. Les profils natifs exécutent ensuite l’inférence en C++ sans PyTorch. Un petit nombre de profils hybrides font appel à un exécutable Python auxiliaire, et leurs manifestes déclarent explicitement cette dépendance.

Les applications appellent les API de tâches — generate(), transcribe(), generate_image(), embed(), solve() — au lieu de gérer les étapes de conversion et les liaisons spécifiques à chaque modèle. trtmc inspectexpose indique le type de bundle, la famille de modèles, la précision, l’identité d’exécution et les moteurs, ce qui rend l’artefact vérifiable plutôt qu’opaque.

NVIDIA présente la méthode classique comme suit : PyTorch → ONNX ou TorchScript → TensorRT → intégration en C++ spécifique au système, et énumère les sources d’erreurs qu’elle élimine : lacunes d’exportation, intégration répétée pour chaque système et validation répartie sur divers artefacts de conversion.

Les mois à venir apporteront sans doute plus de précisions.

Pour aller plus loin :

Article original : MarkTechPost : MarkTechPost