Quelqu'un a optimisé le MiniCPM5-1B d'OpenBMB sur les traces de « Claude Fable 5 » afin de produire un système de réflexion local de 657 Mo.

Cette semaine apporte son nouveau chapitre dans le grand livre de l’IA.

Quelqu’un a optimisé le MiniCPM5-1B d’OpenBMB sur les traces de « Claude Fable 5 » afin de produire un système de réflexion local de 657 Mo.

Un développeur de la communauté, GnLOLot, a publié un modèle 1B fonctionnant entièrement sur du matériel local. Il s’agit du modèle MiniCPM5-1B-Claude-Opus-Fable5-Thinking, avec des versions GGUF pour les environnements d’exécution compatibles avec llama.cpp. Il ne nécessite aucune clé API et n’effectue aucun appel vers le cloud.

Le modèle est basé sur openbmb/MiniCPM5-1B. Cette base est une version réelle et documentée fournie par OpenBMB. Il s’agit d’un modèle dense comptant 1,08 milliard de paramètres, utilisant une architecture LlamaForCausalLM standard. Il comporte 24 couches, un mécanisme d’attention à requêtes groupées et une longueur de contexte de 131 072 tokens. OpenBMB indique qu’il s’agit du meilleur modèle open source (SOTA) de la catégorie 1 milliard de paramètres au sein de son propre ensemble de comparaison.

Le modèle de base d’OpenBMB, en revanche, intègre une étape de distillation « on-policy » documentée entre les points de contrôle de son « enseignant » et de son « élève ».

Sur ce point, la base est déjà fournie avec un modèle de réflexion natif. La fonction de raisonnement est activée ou désactivée via la commande `enable_thinking`, ce qui permet de choisir entre un mode « Réflexion » et un mode « Pas de réflexion ». Le modèle dérivé conserve ce modèle ainsi que le format d’appel d’outils de MiniCPM5.

En plus de cette base, le développeur a procédé à un affinage. La fiche technique précise que le modèle a été « affiné davantage à partir des données de Fable 5 » afin d’améliorer le codage et le respect des instructions. La fiche technique GGUF reprend cette information en indiquant que le modèle a été « entraîné a posteriori à partir des données de Fable 5 ».

Notons par ailleurs, la méthode décrite ici n’est pas une distillation classique. Elle ne consiste pas à réduire la taille du modèle d’origine. Elle consiste plutôt à générer de nombreuses conversations avec un modèle d’IA « enseignant ». Vous enregistrez ses réponses et ses traces de raisonnement sous forme de texte. Vous procédez ensuite à un affinage supervisé d’un modèle de base plus petit à partir de ces traces.

Fait intéressant, cette distinction est importante pour garantir la précision. La distillation classique transfère des informations à partir des logits ou des poids d’un enseignant. Personne n’a accès aux poids ni aux logits de Claude. Il s’agit donc d’un ajustement supervisé sur des sorties générées, et non d’une distillation au niveau des poids. Le modèle de base d’OpenBMB, en revanche, intègre une étape de distillation « on-policy » documentée entre les points de contrôle de son « enseignant » et de son « élève ».

Concrètement, cela signifie que le modèle d’IA 1B apprend à imiter le format et le style des réponses. Il n’assimile pas les capacités sous-jacentes de l’enseignant. Le budget de paramètres du modèle d’IA 1B ne permet pas un raisonnement à l’échelle de la frontière.

La fenêtre de contexte est de 128 000 tokens, valeur héritée du fichier baseconfig.json (131 072). Le dépôt GGUF propose quatre niveaux de quantification. Q4_K_M pèse environ 657 Mo et est présenté comme le plus compact. Q5_K_M pèse environ 751 Mo. Q8_0 pèse environ 1,1 Go et constitue la configuration par défaut recommandée par le responsable du projet. F16 pèse environ 2,1 Go.

Une chose est sûre : le secteur continue d’avancer à grande vitesse.

Sur le même sujet :

Selon l’information initialement publiée par MarkTechPost : MarkTechPost