Nvidia

Comment créer des modèles Transformers économes en mémoire avec xFormers à l’aide de séquences compactées, de GQA, d’ALiBi, de SwiGLU et de l’attention causale

par
Comment créer des modèles Transformers économes en mémoire avec xFormers à l'aide de séquences compactées, de GQA, d'ALiBi, de SwiGLU et de l'attention causale

Voici une information qui pourrait bien avoir un impact durable sur le secteur. Comment créer des modèles Transformers économes en mémoire avec xFormers à l’aide de séquences compactées, de GQA, d’ALiBi, de SwiGLU et de l’attention causale Dans ce tutoriel, nous mettons en œuvre xFormers : une boîte à outils pratique permettant de créer des … Lire la suite

Découvrez Flash-KMeans : un algorithme K-Means précis et optimisé pour les E/S, qui s’exécute plus de 200 fois plus vite que FAISS sur les GPU

par
Découvrez Flash-KMeans : un algorithme K-Means précis et optimisé pour les E/S, qui s'exécute plus de 200 fois plus vite que FAISS sur les GPU

Un acteur majeur du secteur vient de faire parler de lui. Découvrez Flash-KMeans : un algorithme K-Means précis et optimisé pour les E/S, qui s’exécute plus de 200 fois plus vite que FAISS sur les GPU Depuis des décennies, l’algorithme k-means est un outil utilisé hors ligne. On le lance une seule fois pour prétraiter … Lire la suite

Moins coûteuse, plus rapide et adaptée au contexte culturel, l’IA vidéo d’Avataar est conçue pour répondre aux besoins d’un marché de l’envergure de l’Inde | TechCrunch

par
Moins coûteuse, plus rapide et adaptée au contexte culturel, l'IA vidéo d'Avataar est conçue pour répondre aux besoins d'un marché de l'envergure de l'Inde | TechCrunch

Le secteur technologique continue de livrer des avancées remarquables. Moins coûteuse, plus rapide et adaptée au contexte culturel, l’IA vidéo d’Avataar est conçue pour répondre aux besoins d’un marché de l’envergure de l’Inde | TechCrunch Le développement de modèles d’IA en Inde a été plus lent que celui des États-Unis, de l’Europe et de la … Lire la suite

Google AI lance DiffusionGemma, un modèle ouvert de 26 milliards de paramètres utilisant la diffusion de texte pour une génération jusqu’à quatre fois plus rapide

par
Google AI lance DiffusionGemma, un modèle ouvert de 26 milliards de paramètres utilisant la diffusion de texte pour une génération jusqu'à quatre fois plus rapide

Voici une annonce qui mérite l’attention des observateurs du secteur. Google AI lance DiffusionGemma, un modèle ouvert de 26 milliards de paramètres utilisant la diffusion de texte pour une génération jusqu’à quatre fois plus rapide Le nouveau système ouvert expérimental de Google remplace le décodage token par token par une diffusion de texte en parallèle, … Lire la suite

Dario Amodei, d’Anthropic, n’a qu’un seul subordonné direct | TechCrunch

par
Dario Amodei, d'Anthropic, n'a qu'un seul subordonné direct | TechCrunch

L’intelligence artificielle reste au cœur de toutes les attentions. Dario Amodei, d’Anthropic, n’a qu’un seul subordonné direct | TechCrunch Si les fondateurs et autres chefs d’entreprise n’enviaient pas déjà Dario Amodei, qui est à la tête de l’une des entreprises d’IA connaissant la plus forte croissance au monde — dont la valeur est actuellement estimée … Lire la suite

Le dernier système d’IA open source de Google, DiffusionGemma, offre un gain de vitesse de 4 fois

par
Le dernier système d'IA open source de Google, DiffusionGemma, offre un gain de vitesse de 4 fois

Les développements se succèdent à un rythme impressionnant dans l’IA. Le dernier système d’IA open source de Google, DiffusionGemma, offre un gain de vitesse de 4 fois L’IA de diffusion est surtout utilisée pour la génération d’images, cependant elle permet également de produire du texte beaucoup plus promptement. Une nouvelle journée, un inédit modèle d’IA … Lire la suite

NVIDIA AI lance Nemotron 3 Ultra : un modèle hybride Mamba-Transformer « Mixture-of-Experts » ouvert de 550 milliards de paramètres, destiné aux agents à exécution longue

par
NVIDIA AI lance Nemotron 3 Ultra : un modèle hybride Mamba-Transformer « Mixture-of-Experts » ouvert de 550 milliards de paramètres, destiné aux agents à exécution longue

Un nouveau jalon vient d’être franchi dans l’univers de l’intelligence artificielle. NVIDIA AI lance Nemotron 3 Ultra : un modèle hybride Mamba-Transformer « Mixture-of-Experts » ouvert de 550 milliards de paramètres, destiné aux agents à exécution longue NVIDIA a lancé Nemotron 3 Ultra, le plus grand modèle de sa gamme Nemotron 3. Il vise à … Lire la suite

Ces grands modèles de langage (LLM) sont les plus efficaces pour contrer la propagande russe

par
Ces grands modèles de langage (LLM) sont les plus efficaces pour contrer la propagande russe

Le paysage de l’intelligence artificielle s’enrichit d’une nouveauté significative. Ces grands modèles de langage (LLM) sont les plus efficaces pour contrer la propagande russe Une étude de référence du gouvernement estonien montre comment des dizaines de modèles s’attaquent aux « discours stratégiques » de la Russie. Alors que de plus en plus de personnes se … Lire la suite

Codex pour chaque rôle, outil et flux de travail

par
Codex pour chaque rôle, outil et flux de travail

L’écosystème de l’intelligence artificielle continue sa progression à un rythme soutenu. Codex pour chaque rôle, outil et flux de travail De nouveaux plugins, sites et annotations spécifiques aux rôles aident les équipes à en faire plus avec Codex. Plus de 5 millions de personnes utilisent désormais le Codex chaque semaine. Le Codex a commencé comme … Lire la suite

Comment accélérer la formation des transformateurs à l’aide de NVIDIA Apex (FusedAdam, FusedLayerNorm) et Native torch.amp

par
Comment accélérer la formation des transformateurs à l'aide de NVIDIA Apex (FusedAdam, FusedLayerNorm) et Native torch.amp

Nouvelle étape franchie dans l’univers des technologies d’intelligence artificielle. Comment accélérer la formation des transformateurs à l’aide de NVIDIA Apex (FusedAdam, FusedLayerNorm) et Native torch.amp Dans ce didacticiel, nous travaillons sur une implémentation de NVIDIA Apex, en nous concentrant sur les composants qui comptent toujours dans les flux de travail de formation GPU modernes. Au … Lire la suite