L’innovation IA ne faiblit pas, comme en témoigne cette nouvelle annonce.
Mettre fin aux opérations de « façade » basées sur l’IA
Au cours des deux dernières années et demie, nous avons rendu compte de nombreuses tentatives par lesquelles des acteurs malveillants ont cherché à utiliser nos modèles pour mener des cyberattaques, des opérations d’influence clandestines (IO), des escroqueries et d’autres violations de nos politiques d’utilisation. Nous publions ces rapports afin d’informer les autorités de régulation, nos pairs du secteur et la société dans son ensemble de la manière dont nous percevons les tentatives des acteurs malveillants d’exploiter l’IA, et de mettre en lumière les vulnérabilités qu’ils tentent d’exploiter.
Nous avons récemment bloqué deux groupes d’influence — l’un originaire de Russie et l’autre d’Iran — qui utilisaient nos modèles en association avec des techniques et des technologies plus traditionnelles pour soutenir des entités sophistiquées servant de « façade ». Ils se servaient de ces entités pour diffuser des messages à caractère géopolitique et liés à des conflits auprès de leurs publics cibles. L’opération iranienne s’appuyait sur un groupe de sept « journalistes » fictifs, utilisés pour proposer des articles de fond à des médias en ligne de petite et moyenne envergure à travers le monde ; l’opération russe semble avoir recruté des personnes non averties en Amérique latine pour diriger un « groupe de réflexion » sur le terrain.
Ces opérations mettent également en évidence la complexité et la sophistication avec lesquelles les acteurs malveillants recourent à de fausses identités et entités pour atteindre leurs objectifs.
Il faut souligner, ces deux opérations étaient multidimensionnelles et faisaient appel à toute une gamme de tactiques différentes pour atteindre leurs objectifs.Outre des articles de fond, l’opération iranienne a généré des séries de commentaires sur les réseaux sociaux, généralement sur des sujets liés à la guerre entre les États-Unis et l’Iran. En plus de contrôler le « groupe de réflexion », l’opération russe a créé de faux documents « divulgués » et de faux scripts audio, dont certains ont été identifiés comme étant diffusés en ligne. Ces deux opérations ont également largement recouru à l’intelligence artificielle pour rédiger des rapports internes (c’était d’ailleurs l’activité principale de l’opération russe) ; dans les deux cas, les acteurs ont utilisé des méthodologies douteuses, voire carrément trompeuses, pour exagérer l’efficacité des opérateurs.
De plus, ce qui frappe le plus dans ces opérations, c’est qu’elles ressemblaient fortement aux opérations d’influence complexes menées avant l’ère de l’IA, toutefois qu’elles utilisaient l’IA pour faciliter certains des processus. Les faux profils de journalistes gérés par l’opération iranienne présentaient des similitudes avec la fausse journaliste « Alice(s’ouvre dans une nouvelle fenêtre)Donovan(s’ouvre dans une nouvelle fenêtre) », une couverture pour les services de renseignement militaires russes dont les articles avaient été publiés par divers médias occidentaux en 2016-2017. En 2020, des personnes liées aux activités passées de l’Agence russe de recherche sur Internet ont dirigé un faux site d’« actualités » appelé « PeaceData(s’ouvre dans une inédite fenêtre) », qui a incité des journalistes du monde entier, à leur insu, à écrire pour lui.
Ces opérations se distinguaient aussi par leur portée potentielle. En nous appuyant sur l’échelle IOBreakout(s’ouvre dans une nouvelle fenêtre), qui évalue les opérations d’IO sur une échelle allant de 1 (le plus bas) à 6 (le plus élevé), nous classerions l’opération d’origine russe dans la catégorie 5. Il s’agit de la première opération de catégorie 5 que nous avons déjouée depuis le début de nos rapports. L’opération d’origine iranienne atteignait la catégorie 4. Tous deux ont réussi à faire publier leur contenu (qui n’était pas entièrement généré par nos modèles) dans des médias grand public, plutôt que de se contenter de le publier sur les réseaux sociaux. Cela correspond à une tendance que nous avons observée dans les 30 opérations d’influence clandestines que nous avons mises au jour au cours des deux dernières années et demie : les opérations qui cherchent à diffuser leur contenu dans de véritables médias, plutôt que de s’appuyer sur une diffusion frauduleuse via les réseaux sociaux, ont généralement une portée et un impact potentiels plus importants.
Tableau récapitulatif des 30 opérations d’information que nous avons mises en lumière depuis début 2024, classées selon leur principal canal de diffusion (réseaux sociaux, site web géré par l’opération, publications externes) et leur note sur l’échelle « Breakout ». Les activités recourant à plusieurs méthodes de diffusion, telles que la gestion d’un site web et sa promotion sur les réseaux sociaux, sont classées en fonction de la méthode qui semble constituer le cœur de l’activité.
Autre élément, l’IA peut conférer à ces opérations de façade une plus grande envergure, une meilleure efficacité, une plus grande aisance linguistique et de meilleures capacités rédactionnelles. Les auteurs de ces opérations peuvent tirer parti de ces atouts pour exploiter des victimes qui ne se doutent de rien, telles que des employés ou des rédacteurs, et diffuser leur contenu auprès d’un public qui n’a aucune idée de l’identité de ceux qui se cachent derrière ni de leurs motivations. Ces opérations mettent également en évidence la complexité et la sophistication avec lesquelles les acteurs malveillants recourent à de fausses identités et entités pour atteindre leurs objectifs. Il sera essentiel, pour maintenir des défenses solides au sein des organisations, de comprendre les vulnérabilités que ces acteurs exploitent dans le cadre de ces actions, ainsi que la manière dont ces vulnérabilités peuvent se traduire en audience et en portée.
Mais la nature clandestine de ces opérations de façade les rend en outre particulièrement vulnérables à la divulgation responsable. Tant « Alice Donovan » que « PeaceData » ont cessé leurs activités après avoir été démasquées. C’est pourquoi notre objectif, en dénonçant ces opérations de façade, est de faciliter la poursuite des recherches et leur démantèlement, et de rendre plus difficile la poursuite de ces activités.
Pour les professionnels du domaine, cette annonce mérite d’être surveillée.
Dans le même ordre d’idées :
Lire l’article original sur OpenAI : OpenAI