Sécurisation de notre environnement d'entraînement au système « Frontier »

L’innovation IA ne faiblit pas, comme en témoigne cette nouvelle annonce.

Sécurisation de notre environnement d’entraînement au système « Frontier »

Nous avons renforcé les mesures de confinement pour l’entraînement et l’évaluation des modèles en environnement fermé, et nous avons utilisé nos modèles les plus performants pour tester la résistance des limites dans le cadre d’une simulation d’attaque (red team).

Cet article décrit comment nous sécurisons les environnements que nous utilisons pour entraîner et évaluer les modèles de pointe. Ces environnements de recherche diffèrent de ceux dans lesquels nos clients utilisent les modèles que nous mettons à leur disposition : les modèles en cours de avancée n’ont parfois pas encore fait l’objet d’un entraînement complet en matière de sécurité et d’alignement, et nous les testons délibérément dans des conditions adverses afin d’en mettre en évidence les faiblesses. Avant de mettre ces modèles à la disposition d’un public plus large, nous procédons à des évaluations de sécurité et de conformité, et mettons en place des mesures de protection au niveau de la production.

En parallèle, pour fonctionner, les modèles d’IA ont besoin d’environnements informatiques : des espaces de travail numériques où ils peuvent écrire et exécuter du code, rechercher des informations et tester différentes approches pour résoudre des problèmes. Ces environnements permettent aux modèles de mettre ces compétences en pratique, tout en limitant ce à quoi ils peuvent accéder ou ce qu’ils peuvent faire, ce qui contribue à limiter les conséquences lorsque les modèles commettent des erreurs ou adoptent un comportement inapproprié.

Mais à mesure que les modèles gagnent en performances, ils parviennent de mieux en mieux à contourner ces limites. Un modèle sophistiqué pourrait exploiter une faille logicielle ou une erreur de configuration pour s’échapper d’un bac à sable, exploiter un service interne pour accéder à Internet, ou trouver des moyens non autorisés de communiquer avec des agents situés dans d’autres bacs à sable. L’incident survenu chez Hugging Face en juillet, par conséquent que d’autres exemples de désalignement des modèles⁠(s’ouvre dans une nouvelle fenêtre) que nous avons observés, montrent comment des modèles dotés de compétences cybernétiques sophistiquées peuvent contourner les mesures de confinement lors de leur entraînement et de leur évaluation.

En réponse à ces incidents, nous avons considérablement renforcé la sécurité de nos environnements de travaux de recherche. En étroite collaboration avec nos fournisseurs de services cloud, nous avons mis en place de nouveaux contrôles à tous les niveaux de notre infrastructure, réduit la surface d’attaque susceptible d’être exploitée par des agents malveillants et amélioré nos méthodes de détection des comportements anormaux et des tentatives de franchissement des barrières de sécurité. Ces mesures de protection se complètent, de sorte que le confinement puisse être maintenu même en cas de défaillance d’un contrôle particulier — une stratégie connue sous le nom de « défense en profondeur ».

Par ailleurs, au vu de l’état actuel de la recherche sur l’alignement, des systèmes de surveillance et de la sécurité des infrastructures Internet, nous estimons que l’approche la plus responsable consiste à effectuer l’entraînement des modèles de pointe sans accès à Internet. Nous avons mis en œuvre cette politique et la maintiendrons jusqu’à ce que les progrès réalisés dans ces domaines justifient un accès plus large à Internet.

Ces investissements nous ont permis de détecter et de bloquer des comportements malveillants sophistiqués avant qu’ils ne causent des dommages. Le 20 septembre, par exemple, un système de recherche interne a exploité une erreur de configuration dans un résolveur DNS pour obtenir un accès limité à l’Internet en production lors d’une session d’entraînement⁠(s’ouvre dans une nouvelle fenêtre). Bien que nous ayons maîtrisé l’incident, celui-ci a mis en évidence des faiblesses qui nécessitaient des travaux supplémentaires. Nous avons suspendu l’entraînement et l’évaluation de nos modèles les plus performants et avons profité de cette pause pour renforcer encore davantage notre infrastructure, améliorer notre système de surveillance et optimiser les mécanismes qui interrompent automatiquement les exécutions dès que nous détectons une activité présentant un risque grave.

Il faudra attendre les retours concrets pour juger de l’impact réel.

À lire également :

Reportage initial : OpenAI : OpenAI