Un développement récent dans le monde de l’IA attire l’attention.
Avec ses nouveaux modèles ouverts, Meta propose une nouvelle refonte de sa stratégie en matière d’IA, qui connaît des difficultés
Meta est à la traîne par rapport à ses concurrents. Zuckerberg pense avoir trouvé la solution pour aller de l’avant.
Meta a annoncé son intention de se concentrer sur les grands modèles linguistiques à poids ouverts. Par ailleurs, l’entreprise a annoncé la sortie d’un modèle ouvert baptisé « Muse Glimmer » et s’est engagée à rendre publics les poids de « Muse Spark 1.2 », son modèle le plus puissant, dans les prochaines semaines.
Parallèlement à ces annonces, Mark Zuckerberg, PDG de Meta, a publié un essai de plus de 6 000 mots exposant la philosophie de l’entreprise concernant les systèmes d’IA et leur gouvernance à l’avenir. Cet essai vise à distinguer Meta d’entreprises telles qu’OpenAI et Anthropic, qui développent des modèles propriétaires et ont fait pression sur le gouvernement américain pour obtenir de l’aide afin de faire face à la « distillation à grande échelle » — qui consiste à utiliser un modèle d’IA existant pour en entraîner un nouveau — ou aux modèles à poids ouverts mis au point par des laboratoires chinois.
D’un autre côté, muse Glimmer est un système comportant 30 milliards de paramètres, avec une fenêtre de contexte de 128 000 tokens par défaut. Il est issu de Muse Spark, le modèle plus volumineux et plus performant lancé par Meta plus tôt cette année. Glimmer est conçu pour fonctionner sur les machines locales des utilisateurs, plutôt que via un service cloud ou une API. Les poids de Glimmer sont open source sous licence Apache 2.0.
D’un autre côté, muse Spark a été présenté en avril comme un modèle fermé et propriétaire de pointe — il s’agit de la première sortie majeure d’un modèle d’IA par Meta depuis la réorganisation en profondeur de ses équipes d’IA l’année dernière et marque un abandon de son orientation vers des modèles qui, selon certaines définitions, sont ouverts. Lorsque Meta a lancé Muse Spark 1.1 en juillet, l’entreprise a présenté son premier service payant, marquant là encore un changement par rapport à sa stratégie antérieure. Muse Spark 1.2 est sorti le 5 août et s’accompagnait de Muse Code, un assistant de programmation en terminal.
Les développeurs ont généralement constaté que Muse Code n’atteint pas tout à fait le niveau de performance des modèles de pointe d’Anthropic ou d’OpenAI, cependant qu’il est très compétitif en termes de coût — ce qui signifie qu’il occupe une position similaire à celle de nombreux modèles à poids ouvert développés par des laboratoires chinois.
En tant que modèle de petite taille conçu pour fonctionner sur des cartes graphiques grand public, Muse Glimmer ne sera absolument pas en mesure de rivaliser à ce niveau ; il reflète toutefois une tendance croissante visant à transférer une partie du traitement inférentiel vers les appareils locaux afin de réduire la dépendance et les dépenses liées aux modèles développés par les grands laboratoires, tels qu’Anthropic et OpenAI.
À suivre donc, dans un domaine qui n’a pas fini de nous surprendre.
Pour aller plus loin :
Article original publié par Ars Technica AI : Ars Technica AI