L’actualité du jour apporte un éclairage intéressant sur l’évolution du domaine.
Le modèle Astra d’OpenAI est en passe d’être lancé — et il est très doué pour pirater les systèmes informatiques | TechCrunch
OpenAI a dévoilé de nouveaux détails sur son prochain modèle d’IA Astra, que la société présente comme le premier grand modèle linguistique à respecter son « seuil critique en matière de cybersécurité », en vue de son mise en service imminent.
Point notable, « Nous prévoyons de rendre Astra disponible prochainement », peut-on lire dans l’article publié sur le blog d’OpenAI, « mais l’accès à ses fonctionnalités de cybersécurité les plus avancées sera plus restreint. »
Le laboratoire Frontier a établi qu’Astra était capable de détecter des failles de sécurité inconnues dans les systèmes informatiques et de les exploiter sans l’intervention d’un humain. Cela fait écho aux inquiétudes soulevées par Anthropic au sujet de son modèle Mythos en début d’année, et OpenAI prend des précautions similaires alors qu’elle s’apprête à déployer Astra.
En l’absence de confirmation par un tiers, il est difficile d’évaluer les affirmations d’OpenAI concernant la sécurité ou l’état de préparation. L’entreprise a indiqué qu’elle présenterait le modèle en avant-première à un groupe de testeurs, mais n’a pas précisé qui ils étaient ni comment ils seraient sélectionnés. On ignore si OpenAI collabore avec le gouvernement américain pour évaluer le modèle avant sa mise sur le marché.
OpenAI a indiqué qu’Astra avait obtenu un score parfait à ExploitBench, un test évaluant la capacité d’un modèle de langage à grande échelle (LLM) à exploiter des failles de sécurité connues. Dans une version modifiée du test mise au point par les ingénieurs d’OpenAI, le modèle d’IA a découvert et exploité deux failles « zero-day », a précisé la société.
Afin de s’assurer que ses modèles ne soient ni exploités par des acteurs malveillants ni capables eux-mêmes d’adopter un comportement indésirable, OpenAI a déclaré avoir déjà commencé à améliorer le dispositif de contrôle du modèle afin de détecter les abus et d’empêcher les « jailbreaks ».
En ce qui concerne Astra, l’entreprise a toutefois investi dans de nouvelles techniques, dont la nature n’a pas été précisée, destinées à rendre le modèle plus sûr. OpenAI a également commencé à identifier les « comptes jugés à haut risque » et à limiter les réponses du modèle à leurs requêtes, sans toutefois préciser comment. Enfin, bien que l’entreprise présente Astra comme son « système le plus harmonisé à ce jour », elle le déploiera en y ajoutant un mécanisme de surveillance de la chaîne de raisonnement afin de détecter et d’empêcher tout comportement indésirable.
Les préparatifs en vue du lancement d’Astra interviennent alors que le secteur réagit à la fuite d’agents d’OpenAI hors de leur environnement d’entraînement et à leur accès à des données privées sur Hugging Face, une plateforme populaire de distribution de modèles et de tests de performance.
Un dossier qu’il faudra continuer à observer dans les mois à venir.
Dans le même ordre d’idées :
Lire l’article original sur TechCrunch AI : TechCrunch AI