L’actualité du jour apporte un éclairage intéressant sur l’évolution du domaine.
L’histoire de Qwen : les modèles d’IA d’Alibaba, de 7 milliards à 2,4 billions
En avril 2023, Alibaba Cloud a présenté un chatbot dont le nom signifie en gros « la vérité issue de mille questions ». Trois ans et demi plus tard, son successeur est doté d’un modèle ouvert comptant 2 400 milliards de paramètres. Voici l’histoire de l’évolution de Qwen, version après version.
Précisons, alibaba a réagi à l’arrivée de ChatGPT, toutefois sans aller très loin. Le 7 avril 2023, Alibaba Cloud a commencé à distribuer des codes d’invitation à ses clients professionnels pour un modèle baptisé « Tongyi Qianwen ». Ce nom s’inspire en partie du philosophe Mencius.
Qwen-7B a été pré-entraîné sur plus de 2 200 milliards de tokens avec un contexte de 2 048 tokens.
Quatre jours plus tard, lors du sommet Alibaba Cloud à Pékin, Daniel Zhang, alors PDG, l’a présenté officiellement au public. Alibaba a dévoilé son intention d’intégrer ce modèle dans toutes ses activités, à commencer par DingTalk et l’assistant vocal Tmall Genie (China Daily).
Le véritable tournant s’est produit en août. Le 3 août 2023, Alibaba a mis en open source Qwen-7B et Qwen-7B-Chat, en réponse directe à Llama 2 de Meta. Qwen-7B a été pré-entraîné sur plus de 2 200 milliards de tokens avec un contexte de 2 048 tokens. Sa licence était gratuite pour une utilisation commerciale ne dépassant pas 100 millions d’utilisateurs mensuels.
La vision a suivi quelques semaines plus tard. Qwen-VL, la première branche « vision-langage », a été lancée fin août 2023.
Le 13 septembre 2023, Tongyi Qianwen a été ouvert au grand public, ce qui témoigne de l’aval des autorités réglementaires chinoises. Le même mois, l’équipe a publié le rapport technique sur Qwen sur arXiv.
Le contexte technologique évolue, et ce type d’annonce en témoigne.
Dans le même ordre d’idées :
- DeepSeek Harness v0.2 intègre des applications de bureau officielles à son framework open source pour agents
- Un responsable de la sécurité chez OpenAI démissionne, affirmant que « la culture d’entreprise est défaillante » | TechCrunch
Information publiée en premier lieu par MarkTechPost : MarkTechPost