L’actualité tech du jour met en lumière un développement significatif.
Évaluations de cybersécurité réalisées par des tiers portant sur les modèles d’OpenAI
Les tests indépendants jouent un rôle important pour nous aider à valider et à mieux comprendre les risques avant le déploiement. Certaines évaluations de cybersécurité utilisent délibérément des configurations personnalisées, notamment des mesures de sécurité allégées, afin de mesurer les capacités sous-jacentes — et non le comportement habituel des modèles dans les déploiements accessibles au public.
Au cours d’évaluations récentes, deux partenaires de test externes ont identifié des incidents dans lesquels les configurations et les contrôles de test, combinés aux capacités accrues des modèles récents, ont permis à l’activité des modèles de dépasser les limites de test prévues. Ces incidents soulignent l’importance de la collaboration au sein du secteur et avec des organismes d’évaluation tiers afin de faire évoluer les normes relatives aux environnements et aux pratiques de test, à mesure que les modèles gagnent en performances. Note de la rédaction : ces incidents sont distincts de celui survenu chez Hugging Face ; nous continuerons à publier ici des mises à jour concernant cet incident.
Cela concerne à la fois les environnements utilisés pour développer les modèles et ceux utilisés par les laboratoires et les partenaires indépendants pour les évaluer.
De plus, ces nouveaux incidents concernaient des modèles OpenAI ayant accédé à l’Internet public lors d’évaluations de cybersécurité menées par des tiers, dans des conditions spécifiques et selon des configurations présentant des mesures de sécurité réduites qui ne reflétaient pas un déploiement habituel. Parmi ces incidents, on peut citer :
Nous résumons ci-dessous ce qui s’est passé, les conditions de test qui ont permis cette activité, les mesures prises pour la contenir, ainsi que les actions que nous menons pour garantir que les laboratoires indépendants puissent continuer à évaluer de manière rigoureuse et sûre des modèles de plus en plus performants.
À ce sujet, ces incidents mettent en évidence le même enjeu plus général que nous avons décrit dans notre récent article consacré à l’incident Hugging Face : à mesure que les capacités techniques des modèles progressent, les systèmes de sécurité et de sûreté qui les encadrent doivent eux aussi évoluer. Cela concerne à la fois les environnements utilisés pour développer les modèles et ceux utilisés par les laboratoires et les partenaires indépendants pour les évaluer.
Au cours des prochaines semaines, nous réexaminerons notre approche en matière de tests effectués par des tiers, notamment la manière dont nous identifions les évaluations présentant un risque plus élevé, dont nous convenons du périmètre d’intervention, dont nous évaluons les demandes d’accès à Internet ou d’assouplissement des mesures de sécurité, dont nous définissons les attentes en matière d’isolation, de gestion des identifiants, de surveillance et de conditions d’arrêt, et dont nous mettons en place des processus plus clairs de notification des incidents et de remontée hiérarchique.
Les prochaines semaines permettront d’en mesurer la portée réelle.
Dans le même ordre d’idées :
- Comment nous avons mis au point en six mois un système en temps réel pour une IA vocale réactive
- Voici pourquoi les agents IA mentent et trichent pour atteindre leurs objectifs
- Le protectionnisme de Trump en matière d’IA s’attaque désormais à la robotique
Selon l’information initialement publiée par OpenAI : OpenAI