Découvrez Cloudflare Clef-omni : un modèle de décision multimodal de 30 milliards d'A3B pour l'audio, la vidéo, l'image et le texte

Découvrez Cloudflare Clef-omni : un modèle de décision multimodal de 30 milliards d’A3B pour l’audio, la vidéo, l’image et le texte

par

L’écosystème de l’intelligence artificielle continue sa progression à un rythme soutenu.

Découvrez Cloudflare Clef-omni : un modèle de décision multimodal de 30 milliards d’A3B pour l’audio, la vidéo, l’image et le texte

Cloudflare a lancé Clef-omni, un tout nouveau membre « open-weight » de sa famille de modèles de décision Clef. Clef-omni est un modèle d’IA de décision Cloudflare qui analyse du texte, des images, de l’audio et de la vidéo en un seul appel. Il a été lancé le 9 octobre 2026, huit jours après le mise en service des modèles Clef et Clef-flash originaux. Cette même mise à jour a permis de ramener le prix de Clef-flash en dessous de celui de Jev de TypeSafe et a rendu la version hébergée de Clef environ deux fois plus rapide. Pour les développeuses et développeurs, cela supprime les étapes de transcription et de sous-titrage généralement nécessaires dans les pipelines d’agents multimodaux.

Par ailleurs, un modèle de décision renvoie des réponses typées accompagnées de probabilités, plutôt qu’un texte généré. Vous lui transmettez un état et un schéma de questions. Le modèle renvoie une probabilité pour chaque option autorisée. Clef prend en charge trois types de questions : « noul » (vrai ou faux), « choice » et « score ». Le format est conforme aux API Jev et SystemOne de TypeSafe AI.

Clef-omni arrive en tête en matière de classification des intentions : 94,8 de macro-F1 sur BANKING77 et 97,7 sur CLINC150+OOS.

Notons par ailleurs, clef-omni est un modèle pré-entraîné à partir de Qwen3-Omni-30B-A3B-Instruct. Cloudflare conserve l’architecture de base dédiée à la compréhension et supprime le chemin de sortie de synthèse vocale. Le système effectue un seul passage de pré-remplissage sur l’intégralité de la charge utile. Les images vidéo et le son sont synchronisés en une seule séquence pour un traitement conjoint.

Notons par ailleurs, un petit modèle de schéma conjoint évalue ensuite les options. Chaque option valide commence par extraire des informations à partir des informations d’entrée. Les vecteurs de champ effectuent ensuite une attention croisée sur l’ensemble du contexte afin de calculer des scores de confiance. Cloudflare a figé l’architecture de base de Qwen3 et a entraîné des adaptateurs LoRA. L’entraînement a combiné l’entropie croisée lissée par les étiquettes avec un calibrage par le score de Brier.

Entrées prises en charge par Workers AI, selon la documentation destinée aux programmeurs :

Cloudflare indique que le temps de traitement des textes est d’environ 130 ms (médiane) et celui des images d’environ 150 ms. Une vidéo de 21 secondes avec son est traitée en environ 1,5 seconde.

Cloudflare a comparé Clef-omni à Clef, Clef-flash et Jev dans le cadre de son test « Decision Index ». Clef-omni arrive en tête en matière de classification des intentions : 94,8 de macro-F1 sur BANKING77 et 97,7 sur CLINC150+OOS. Il devance également Amazon ESCI avec un score de 57,8.

Il est à la traîne dans les autres domaines. La précision de Home appliances en matière de correspondance exacte est de 69,3, contre 97,73 pour Clef-flash. La précision de When2Call est de 63,3, contre 80,97 pour Jev. Dans les évaluations de workflow d’OnTypeSafe, Clef-omni obtient des scores inférieurs à ceux de Clef pour les 5 indicateurs rapportés.

Vue d’ensemble rapide :

  • Une vidéo de 21 secondes avec son est traitée en environ 1,5 seconde.
  • Il devance également Amazon ESCI avec un score de 57,8.
  • Il est à la traîne dans les autres domaines.

Le chapitre n’est pas clos, loin de là.

Dans le même ordre d’idées :

Source : MarkTechPost : MarkTechPost