Le « Thinking Machines Lab » de Mira Murati présente les arguments techniques en faveur d'une IA centrée sur l'humain, reposant sur des poids de modèles personnalisables

Le secteur de l’IA vient d’être le théâtre d’un développement notable.

Le « Thinking Machines Lab » de Mira Murati présente les arguments techniques en faveur d’une IA centrée sur l’humain, reposant sur des poids de modèles personnalisables

Thinking Machines Lab a publié un rapport visant à développer une IA qui prolonge la volonté et le jugement humains. La plupart des IA utilisées aujourd’hui sont entraînées dans un petit nombre de lieux, puis « figées ». Le rapport soutient que cette conception exclut les personnes auxquelles le modèle d’IA est destiné. Au contraire, les chercheurs du laboratoire Thinking Machines souhaitent mettre au point une IA distribuée, personnalisable et façonnée par ses utilisateurs.

Le laboratoire identifie quatre axes techniques. Premièrement, il forme des modèles puissants dotés d’interactions multimodales et d’une grande personnalisation. Deuxièmement, il développe des outils permettant aux utilisateurs finaux d’ajuster eux-mêmes les paramètres des modèles et de les entraîner. Troisièmement, il développe des interfaces qui élargissent le canal de communication entre l’homme et la machine. Quatrièmement, il publie des travaux de recherche afin que davantage d’ingénieurs comprennent comment les modèles sont conçus. Ensemble, ces axes de recherche rapprochent à la fois les connaissances et l’alignement des utilisateurs.

Derrière ces recommandations se cache une réflexion sur la connaissance elle-même. Une grande partie du savoir-faire est tacite, local et constamment mis à jour grâce au retour d’expérience. Un chef qui peaufine une recette ne peut pas consigner cette compétence dans une base de données. Le rapport cite Michael Polanyi et Friedrich Hayek pour étayer cette affirmation. La planification centrale échoue car ce savoir est privé et éphémère, et non rare. C’est pourquoi, selon le laboratoire, l’IA doit être décentralisée pour pouvoir exploiter ce savoir décentralisé. Il prône une IA qui aide les organisations à cultiver ce savoir, et non à l’extraire pour le remplacer.

Les échecs et les mathématiques constituent les exceptions mentionnées. Ces deux secteurs ont des objectifs statiques et clairement définissables, et ne comportent aucune connaissance cachée. C’est pourquoi le jeu en mode solo et la résolution autonome de problèmes y fonctionnent bien. En dehors de ces domaines fermés, le rapport indique que l’intelligence à elle seule ne suffit pas.

Dans ce cadre, le rapport reformule deux limites bien connues en objectifs d’ingénierie. La première concerne le canal de communication : une petite zone de texte et un long temps d’attente. C’est le problème auquel les modèles d’interaction du laboratoire s’attaquent directement. Ces modèles traitent en continu des données audio, vidéo et textuelles, en utilisant des « micro-tours » d’environ 200 ms. La deuxième contrainte concerne l’évaluation elle-même. Les tests de performance tels que ceux du METR évaluent la durée pendant laquelle un modèle fonctionne de manière autonome. Le rapport fait valoir que cette approche ne tient pas compte de ce que les humains et les machines accomplissent ensemble.

Dans le même temps, au-delà des interfaces, le rapport s’intéresse à l’endroit où résident les valeurs. Il met en garde contre le fait qu’une autorité d’alignement unique devient un point de capture unique. Les prompts modifient le comportement en surface, tandis que les habitudes profondes du système restent inchangées. Le laboratoire soutient donc que les valeurs devraient être encodées dans les poids du modèle, et non dans les prompts. C’est là que son API Tinker prend tout son sens pour les ingénieurs.

Dans la foulée, tinker permet d’affiner les modèles à poids ouverts tels que Llama et Qwen à l’aide de LoRA. Il met à disposition des primitives de bas niveau et vous permet d’exporter des poids d’adaptateur portables. Voici un exemple de boucle supervisée minimale, conforme au modèle officiel :

Une affaire qui méritera assurément d’être suivie de près.

Pour aller plus loin :

Reportage initial : MarkTechPost : MarkTechPost