L’écosystème de l’intelligence artificielle continue sa progression à un rythme soutenu.
La fenêtre du défenseur
L’incident OpenAI-Hugging Face(s’ouvre dans une dernière fenêtre) a marqué un tournant décisif en matière de cybersécurité, car il a donné un aperçu de la manière dont les capacités d’un acteur malveillant type vont évoluer dans les mois à venir. J’ai discuté avec de nombreuses organisations ces dernières semaines, et un thème ressort clairement : elles savent qu’elles doivent renforcer en profondeur leurs pratiques en matière de cybersécurité à une vitesse sans précédent. Dans cet article, je vais vous présenter les mesures que nous prenons pour défendre OpenAI, les actions concrètes que d’autres organisations peuvent mener dès aujourd’hui, et les raisons pour lesquelles il est temps d’agir.
Notons par ailleurs, les modèles d’IA développés à travers le monde sont de plus en plus capables d’automatiser certaines étapes des cyberattaques réelles, ce qui rend les failles de sécurité de longue date — qu’il s’agisse de bogues enfouis au plus profond de logiciels écrits par l’homme ou d’autorisations oubliées — plus faciles à détecter et à exploiter. Ces mêmes capacités d’IA offrent aux défenseurs de nouveaux moyens de détecter et de corriger ces failles, mais ils doivent agir sans tarder. Si les entreprises agissent avec détermination — notamment en renforçant leurs bases et en dotant leurs équipes de puissantes capacités d’IA —, nous pourrons rendre Internet plus sûr que jamais.
Dans le cadre de l’incident OpenAI-Hugging Face, un collectif d’agents a réussi à s’introduire de manière autonome non seulement dans l’infrastructure de recherche d’OpenAI, mais aussi dans l’infrastructure de production d’une autre entreprise, en enchaînant diverses vulnérabilités allant de failles de sécurité jusque-là inconnues à l’utilisation d’identifiants de comptes utilisateurs qui avaient été divulgués sur Internet. Il apparaît de plus en plus clairement que la dette technique(s’ouvre dans une dernière fenêtre) de chaque entreprise recèle des failles importantes, et que les responsables de la sécurité doivent les détecter et les corriger avant que les pirates ne le fassent.
En complément, afin de donner l’avantage aux défenseurs par rapport aux attaquants, nous avons commencé, en début d’année, à ne mettre nos capacités techniques cybernétiques à la disposition que des défenseurs de confiance. Depuis lors, diverses entreprises ont publié des modèles « open weight » dotés de capacités cybernétiques qui ne sont en retard que de quelques mois par rapport à la pointe de la technologie. Le plus récent de ces modèles devrait être lancé(s’ouvre dans une nouvelle fenêtre) fin août, et devrait probablement aggraver considérablement la situation en matière de menaces.
Si les pirates utilisant l’IA seront bientôt capables de détecter des failles de longue date dans de nombreux systèmes existants, l’IA permettra également aux défenseurs d’identifier, de hiérarchiser et de corriger beaucoup plus facilement ces mêmes failles. La sécurité reste un jeu du chat et de la souris, mais l’IA pourrait en modifier la dynamique économique(s’ouvre dans une nouvelle fenêtre) d’une manière qui avantagerait fondamentalement les défenseurs. Par exemple, nous commençons à entraîner nos modèles spécifiquement pour qu’ils écrivent du code d’une sécurité surhumaine. Nos modèles excellent également dans les démonstrations mathématiques, ce qui permet de vérifier formellement la sécurité des logiciels d’une manière qui s’est avérée insurmontable pour les humains.
À la suite de l’incident impliquant OpenAI et Hugging Face, j’ai demandé à ChatGPT Work (en utilisant la version publique de GPT-5.6 Sol) d’évaluer la sécurité du site gregbrockman.com(s’ouvre dans une nouvelle fenêtre). Il s’agit d’un simple site statique, hébergé sur AWS avec Cloudflare en tant que passerelle, j’ai donc pensé qu’il n’y aurait pas beaucoup de points vulnérables.
En une quinzaine de minutes, l’analyse a mis au jour 13 failles, dont beaucoup ne sont probablement pas exploitables isolément — mais je peux imaginer qu’elles puissent être combinées à d’autres vulnérabilités pour produire des effets considérables. Je n’avais pas configuré mes enregistrements DNS pour empêcher des pirates de se faire passer pour moi dans des e-mails ; mon site utilisait une version non sécurisée de jQuery ; Cloudflare transférait les requêtes vers AWS via un protocole HTTP non chiffré.
À noter également, j’ai ensuite demandé à ChatGPT Work de corriger ces problèmes, ce qu’il a fait en l’espace d’une heure. Il a ouvert le panneau de configuration de Cloudflare dans mon navigateur, puis a cliqué sur de nombreux boutons pour configurer correctement le DNS, le TLS et les paramètres de sécurité avancés ; il a complètement supprimé jQuery du site ; il m’a fait migrer d’AWS vers Cloudflare Pages ; il a lancé un déploiement progressif de DMARC(s’ouvre dans une nouvelle fenêtre).
Un dossier qu’il faudra continuer à observer dans les mois à venir.
Pour aller plus loin :
Source : OpenAI : OpenAI