Un pas supplémentaire vient d’être franchi dans cette révolution technologique en cours.
Google DeepMind s’inquiète de ce qui se passera lorsque des millions d’agents commenceront à interagir
L’entreprise appelle davantage de scientifiques à se pencher sur les risques liés aux systèmes multi-agents.
Google DeepMind finance des recherches sur les dangers potentiels liés à des situations où des millions d’agents d’IA différents interagissent entre eux en ligne.
J’ai demandé à Shah et à James Fox, qui dirige le programme « Science of Trustworthy AI » chez Schmidt Sciences, ce qu’ils espèrent accomplir grâce à ces 10 millions de dollars.
Notons par ailleurs, selon Rohin Shah, responsable de la recherche sur la sécurité et l’alignement de l’AGI au sein de l’entreprise, l’arrivée sur le marché grand public d’agents capables d’effectuer des tâches sans supervision humaine et de suivre les instructions données par d’autres agents engendre une toute récente catégorie de risques.
Pour remédier à cette situation, Google DeepMind — qui a placé les outils basés sur des agents au cœur de la conférence Google I/O le mois dernier — s’est associé à de multiples autres organisations pour annoncer la création d’un fonds de 10 millions de dollars destiné à permettre aux chercheurs d’étudier le comportement des systèmes multi-agents et de trouver des moyens de prévenir les scénarios dangereux. Aux côtés de Google DeepMind, on retrouve Schmidt Sciences, une fondation philanthropique créée par Eric et Wendy Schmidt ; ARIA, l’agence britannique chargée des projets ambitieux ; la Cooperative AI Foundation, un organisme de recherche à but non lucratif basé au Royaume-Uni ; ainsi que Google.org, la branche caritative de Google.
J’ai demandé à Shah et à James Fox, qui dirige le programme « Science of Trustworthy AI » chez Schmidt Sciences, ce qu’ils espèrent accomplir grâce à ces 10 millions de dollars. Ce n’est pas une somme négligeable, mais elle est bien modeste comparée aux budgets dont disposent les équipes de recherche de Google DeepMind.
L’objectif est de donner un coup de pouce à la exploration en dehors des sociétés technologiques, explique Shah : « La force du monde universitaire réside dans sa capacité à se projeter très loin dans l’avenir et à mener des travaux qui ne font pas partie des priorités des laboratoires industriels. »
Reste à voir comment l’industrie va réagir à cette annonce.
Sur le même sujet :
- Google AI lance DiffusionGemma, un modèle ouvert de 26 milliards de paramètres utilisant la diffusion de texte pour une génération jusqu’à quatre fois plus rapide
- Le dernier système d’IA open source de Google, DiffusionGemma, offre un gain de vitesse de 4 fois
- Une nouvelle étude menée par Harvard et Perplexity fait apparaître que les agents IA effectuent 26 minutes de travail autonome par session, contre 33 secondes pour la recherche
Information rapportée par MIT Technology Review : MIT Technology Review