Un développement récent dans le monde de l’IA attire l’attention.
Ces start-ups sont à la travaux de recherche de la prochaine grande innovation dans le domaine des modèles de langage de grande échelle (LLM)
Découvrez les nouveaux venus qui talonnent les géants de l’IA.
La série « What’s Next » du MIT Technology Review passe en revue les différents secteurs, tendances et technologies pour vous offrir un aperçu de l’avenir. Vous pouvez lire les autres articles de la série ici.
À l’été 2017, des chercheurs en intelligence artificielle de Google ont publié un article intitulé « Attention Is All You Need », dans lequel ils décrivaient un inédit type de réseau neuronal appelé « transformateur ». Celui-ci s’est révélé très performant pour traiter de longues séquences de données, en particulier du texte.
Neuf ans plus tard, les transformateurs constituent le cœur de tous les grands modèles linguistiques disponibles sur le marché. « L’ensemble du secteur de l’IA repose sur les transformateurs », explique Justin Dangel, cofondateur et PDG de la start-up spécialisée dans l’IA Subquadratic. « Ils constituent l’une des innovations les plus importantes de l’histoire de l’informatique, et ils ont changé le monde. »
À relever, mais les transformateurs commencent à montrer des signes de vieillissement. Bon nombre des avancées récentes dans le domaine des LLM, telles que le progression de ce qu’on appelle les « modèles de raisonnement » et leur capacité à traiter simultanément de grandes quantités de données d’entrée, ne constituent pas des extensions abouties de cette technologie de base, mais plutôt des solutions de contournement destinées à pallier certaines de ses failles fondamentales.
De plus en plus de scientifiques et d’ingénieurs s’interrogent désormais sur la suite des événements. Les LLM ne sont pas près de disparaître, mais la manière dont ils sont conçus reste à définir. (Le MIT Technology Review a baptisé cette future génération de modèles « LLM+ » dans son classement annuel des « 10 choses qui comptent dans l’IA ».)
Une vague de start-ups fait son apparition, dans l’espoir de repousser les limites de cette technologie en plein essor. Certaines échoueront sans doute, mais elles ont tout à gagner et bien moins à perdre que les entreprises qui occupent aujourd’hui les premières places.
Les retombées concrètes se feront sentir dans les mois qui viennent.
Dans le même ordre d’idées :
Selon l’information initialement publiée par MIT Technology Review : MIT Technology Review