Les enfants apprennent mieux que l'IA… et on ne sait toujours pas pourquoi

Cette semaine apporte son nouveau chapitre dans le grand livre de l’IA.

Les enfants apprennent mieux que l’IA… et on ne sait toujours pas pourquoi

D’après ce que nous savons, les êtres humains communiquent entre eux depuis au moins 100 000 ans. Et pendant tout ce temps, il n’y a eu qu’une seule chose au monde capable d’apprendre une langue humaine jusqu’à la maîtriser parfaitement : un enfant humain.

À peine quatre ans après le mise en service de ChatGPT, nous sommes désormais nombreux à considérer comme allant de soi le fait de pouvoir converser naturellement avec nos téléphones ou nos ordinateurs. Les modèles de langage de grande échelle (LLM) tels que Claude, DeepSeek et les modèles GPT d’OpenAI sont suffisamment fluides et flexibles pour se faire passer de manière convaincante pour des humains. Mais si l’on jette un œil derrière le rideau informatique, on constate qu’il y a un hic : pour apprendre à un ordinateur à utiliser le langage humain, il faut encore une quantité de données colossale. Un modèle de langage (LLM) peut facilement traiter cent mille fois plus de mots qu’une personne n’en rencontrera au cours de l’apprentissage de sa langue maternelle — et bien plus que ce que les enfants peuvent entendre avant leur premier anniversaire, âge auquel ils commencent généralement à s’approprier le langage.

« Les progrès réalisés récemment sont impressionnants », déclare Michael C. Frank, spécialiste des sciences cognitives à l’université de Stanford, à propos des modèles de langage de grande envergure (LLM). « Toutefois il nous faut encore raser une forêt et passer au crible l’ensemble des connaissances humaines pour recréer cette avancée majeure qui se produit dans nos salons en l’espace d’une année. »

Ce fossé béant entre les enfants et les machines est appelé « fossé d’efficacité des données ». Il soulève une question passionnante pour les scientifiques en sciences cognitives et constitue un défi pour les concepteurs de modèles d’IA : comment se fait-il que les enfants parviennent encore à surpasser les machines les plus sophistiquées jamais construites sur le plan linguistique ?

Trouver des réponses revêt une importance cruciale tant pour la recherche en IA que pour les sciences cognitives. Au cours de la dernière décennie, les modèles linguistiques se sont principalement améliorés en gagnant en taille. Le LLM à poids ouverts de Meta, Llama 3.1, lancé il y a deux ans, a traité 15 000 milliards de tokens (unités de langage assimilables à des mots) lors de son pré-entraînement — l’étape principale de l’entraînement d’un modèle d’IA qui précède son ajustement pour une tâche spécifique, comme celle d’un chatbot. « Les modèles de pointe pourraient être pré-entraînés sur dix fois plus de données », explique Ethan Gotlieb Wilcox, spécialiste des sciences cognitives et linguiste à l’université de Georgetown. Mais les ressources disponibles sur Internet pour l’entraînement sont limitées, et à terme — peut-être dès les années 2030 —, le réservoir de éléments facilement accessibles pourrait se tarir.

Les enfants montrent qu’il est possible d’apprendre davantage avec moins. Beaucoup moins. Un préadolescent élevé dans un foyer riche sur le plan linguistique peut avoir entendu environ 100 millions de mots. Si l’on ajoute à cela l’apprentissage de la lecture et de l’écriture, ce nombre de mots peut atteindre environ 300 millions à l’âge de 20 ans.

La différence d’échelle ne peut vraiment être évoquée qu’à travers des analogies. « Claude a été témoin de toute la richesse linguistique dont une ville entière fera l’expérience en l’espace d’une génération », explique Wilcox. Si l’on imprimait sur papier tous les mots utilisés pour entraîner un LLM moderne, on obtiendrait une pile qui dépasserait la Station spatiale internationale. En revanche, les 100 millions de mots d’un préadolescent ne formeraient qu’une pile de 20 mètres. Et nous pouvons nous contenter de bien moins que cela.

En analysant le processus d’apprentissage des enfants, les scientifiques espèrent pouvoir créer des modèles d’IA plus économes en données, qui pourraient s’avérer utiles dans de nombreux secteurs, allant de l’entraînement efficace de l’IA à partir de vidéos à la création de chatbots destinés aux communautés parlant des langues minoritaires. Tester des hypothèses sur l’apprentissage humain à l’aide de modèles informatiques pourrait également apporter des réponses à des questions de longue date concernant le langage et le avancée cognitif des enfants. Naissons-nous avec un instinct du langage, ou serait-il possible, ne serait-ce qu’en principe, qu’un enfant apprenne le langage uniquement par l’expérience ? La manière dont nous traitons le langage est-elle une particularité de notre biologie, ou pourrait-elle, au moins en partie, refléter des contraintes universelles sur la façon dont les langues peuvent être utilisées et apprises ?

L’avenir dira si cette annonce tient toutes ses promesses.

Sur le même sujet :

Lire l’article complet sur MIT Technology Review : MIT Technology Review