Un acteur majeur du secteur vient de faire parler de lui.
MEMO : un cadre modulaire pour former un modèle de mémoire dédié sur de nouvelles connaissances sans modifier les paramètres LLM
Les grands modèles de langage deviennent statiques après la pré-formation. Leurs connaissances ne s’actualisent pas à mesure que le monde change. Le recyclage d’un LLM complet est trop coûteux à l’échelle moderne. Un réglage fin risque de dégrader les connaissances acquises précédemment. La génération augmentée par récupération (RAG) rencontre des difficultés lorsque les réponses nécessitent un raisonnement sur de nombreux documents.
Une équipe de scientifiques de l’Université nationale de Singapour, du MIT CSAIL, d’A*STAR et de l’Alliance Singapour-MIT pour la recherche et la technologie (SMART) propose une nouvelle approche appelée MEMO (Memory as a Model).
Parallèlement, les méthodes existantes pour intégrer de nouvelles connaissances dans les LLM se répartissent en trois catégories. Les méthodes non paramétriques comme RAG récupèrent les documents au moment de l’inférence. Ils sont sensibles au bruit de récupération et ont du mal à raisonner entre documents. Les méthodes paramétriques telles que la pré-formation continue ou le réglage fin supervisé internalisent les connaissances dans les pondérations du modèle. Ils sont coûteux en calcul et provoquent un oubli catastrophique, où une nouvelle formation dégrade les connaissances précédemment acquises. Les méthodes de mémoire latente compressent les connaissances en jetons logiciels. Ces représentations sont étroitement liées au modèle qui les a produites – une limitation que l’équipe de travaux de recherche appelle couplage de représentations, qui limite la transférabilité entre les LLM.
MEMO sépare la mémoire du raisonnement. Le modèle MEMORY est un petit modèle de langage dédié, formé pour internaliser les connaissances d’un corpus cible. Le modèle EXECUTIVE est le LLM principal — figé et interrogé uniquement via son interface d’entrée-sortie standard.
Dans les expériences, le système MEMORY est Qwen2.5-14B-Instruct. Le modèle EXECUTIVE est soit Qwen2.5-32B-Instruct, soit Gemini-3-Flash, un modèle propriétaire à source fermée. Étant donné que MEMO traite le modèle d’IA EXECUTIVE comme une boîte noire, il ne nécessite pas d’accès au poids ni de logits de sortie.
Autre élément, la formation commence par un pipeline de synthèse de informations en cinq étapes guidé par un modèle GENERATOR : Qwen2.5-32B-Instruct dans les expériences. Le pipeline convertit un corpus de document brut en un ensemble de données d’assurance qualité par réflexion : des paires question-réponse qui représentent les connaissances du corpus sous diverses variantes de requête.
L’étape 5 est le composant le plus critique. Une ablation sans intervention présente que sa suppression fait chuter la précision de 24,00 % à 6,37 % sur NarrativeQA. C’est par ailleurs la source dominante de paires d’entraînement dans l’ensemble de éléments final.
Il faudra attendre les retours concrets pour juger de l’impact réel.
À découvrir aussi :
- L’encyclique du pape sur l’IA ne traite pas vraiment de l’IA | TechCrunch
- StepFun lance StepAudio 2.5 Realtime : un modèle vocal de bout en bout doté d’un RLHF (apprentissage par renforcement) adapté aux jeux de rôle et d’une compréhension paralinguistique
Selon l’information initialement publiée par MarkTechPost : MarkTechPost