Le secteur technologique continue de livrer des avancées remarquables.
Découvrez GPT-Red : un « super-hacker » LLM développé par OpenAI pour renforcer la sécurité de ses modèles
Exclusivité : L’entreprise affirme vouloir adapter ses procédures de sécurité aux défis de l’avenir et garder une longueur d’avance sur les pirates informatiques.
OpenAI a développé un super-hacker LLM baptisé GPT-Red, qu’elle utilise comme adversaire d’entraînement pour aider ses autres modèles à renforcer leurs défenses contre les cyberattaques. La semaine dernière, l’entreprise a publié la dernière version de son LLM phare, GPT-5.6. OpenAI affirme que l’entraînement de ce modèle face à GPT-Red en a fait la version la plus robuste à ce jour.
GPT-Red automatise un type d’évaluation de la sécurité des systèmes logiciels appelé « red teaming », qui est généralement réalisé par une équipe de testeurs humains. L’objectif est de trouver autant de moyens différents que possible de pirater ou de prendre le contrôle d’un système. Les failles peuvent ensuite être corrigées avant la sortie de la version finale du logiciel.
À mesure que les LLM gagnent en complexité et sont utilisés pour une plus grande variété de tâches — notamment sous la forme d’agents capables d’interagir avec des fichiers informatiques, des sites web et du code tiers, de ce fait qu’avec d’autres agents —, il devient difficile pour des équipes humaines de suivre à elles seules l’évolution de tous les types d’attaques susceptibles de se produire. « La surface d’exposition aux risques s’étend, tout comme le rayon d’action des attaques », explique Nikhil Kandpal, chercheur chez OpenAI et co-créateur de GPT-Red.
OpenAI a développé GPT-Red afin de pérenniser son processus de tests de sécurité. « À mesure que des modèles plus performants seront disponibles, nous aurons déjà conçu le système capable de détecter de nouveaux modes d’attaque », explique Dylan Hunn, chercheur au sein de l’entreprise et co-créateur de GPT-Red. Les chercheurs affirment que le système a déjà mis en évidence de nouveaux types d’attaques qui n’avaient jamais été observés auparavant.
OpenAI a concentré l’essentiel de ses efforts sur un type d’attaque appelé « injection de prompt », dans laquelle un pirate insère subrepticement des instructions dans un LLM afin de le pousser à effectuer des actions que ni ses développeuses et développeurs ni ses usagers ne souhaitent, telles que copier des informations confidentielles, saboter le code source d’une entreprise ou générer des retombées embarrassants ou préjudiciables. En théorie, de telles instructions peuvent être dissimulées dans n’importe quel texte que le LLM est susceptible de rencontrer — dans du code ou sur un site web, par exemple.
Pour créer GPT-Red, les chercheurs d’OpenAI ont pris un LLM qui n’avait pas été entraîné à devenir un pirate informatique et l’ont configuré dans ce qu’on appelle une « boucle d’auto-jeu » avec plusieurs autres modèles. Son objectif était d’essayer d’attaquer les autres modèles ; leur objectif était d’essayer de se défendre. Au fil de nombreuses parties, GPT-Red est devenu de plus en plus habile à attaquer les autres LLM, tandis que ces derniers sont devenus de plus en plus efficaces pour repousser les attaques.
À suivre donc, dans un domaine qui n’a pas fini de nous surprendre.
Pour aller plus loin :
- Les États-Unis font progresser la sécurité de l’IA grâce à des mesures prises au niveau des États et au niveau fédéral
- Déjà riches, déjà couronnés de succès : pourquoi la dernière vague de lauréats du segment technologique est à nouveau en difficulté | TechCrunch
Source originale : MIT Technology Review : MIT Technology Review