Le domaine de l’IA connaît encore aujourd’hui une évolution intéressante.
Les modèles d’IA à poids ouvert rattrapent leur retard par rapport à la pointe de la technologie. Le déficit en matière de sécurité persiste. | TechCrunch
Alors que les décideurs politiques débattent de la manière de réglementer des systèmes d’IA de plus en plus puissants, tels que le GPT-5.6 Sol d’OpenAI et le Mythos d’Anthropic, un modèle chinois à poids ouverts a réduit l’écart qui le séparait des leaders du domaine.
Selon un récent rapport publié par SaferAI, une association à but non lucratif spécialisée dans la sécurité de l’IA, le modèle d’IA d’IA à poids ouvert GLM-5.2, développé par la société chinoise Z.ai, n’est qu’à quelques mois derrière le GPT-5.5 d’OpenAI et le Claude Opus 4.7 d’Anthropic en matière de compétences cybernétiques et biologiques. Mais le fossé entre les capacités de pointe et les pratiques en matière de sécurité ne cesse de se creuser.
Ces mesures sont loin d’être infaillibles : les « jailbreaks » contournent régulièrement les protections mises en place sur les modèles déployés.
D’après l’évaluation réalisée par SaferAI, que cette association à but non lucratif a menée via l’API publique de Z.ai, GLM-5.2 n’a refusé aucune des tâches offensives liées à la cybersécurité ou à la biologie à double usage qui lui ont été confiées. À titre de comparaison, Claude Opus 4.7 « a refusé si systématiquement les tâches que SaferAI n’a pas pu mener à bien le test CyberGym avec ce modèle d’IA » (CyberGym est un test de référence qui évalue les capacités en matière de cybersécurité). OpenAI s’en est servi lors de l’évaluation qui a précédé la faille de sécurité survenue le mois dernier chez Hugging Face.)
Cela nous rappelle de manière frappante ce que certains détracteurs dénoncent depuis des années : les modèles d’IA à poids ouverts pourraient mettre une IA très performante entre les mains d’attaquants potentiels, sans qu’il soit possible de contrôler l’usage qu’ils font de cette technologie une fois les poids téléchargés. Alors que les modèles « open-weight » se rapprochent rapidement des capacités des principaux systèmes d’IA au monde, le débat ne porte plus sur leur capacité à rivaliser avec ces derniers, mais sur la manière dont la société gérera les risques une fois qu’ils seront mis en service.
En complément, « La limite des capacités n’est pas la limite du risque ; nous devons donc également tenir compte de l’état des mesures d’atténuation pour évaluer correctement le risque », a déclaré Henry Papadatos, directeur exécutif de SaferAI, à TechCrunch.
Dans la foulée, même si Z.ai pouvait mettre en place des mesures de sécurité pour son API hébergée, ces protections deviendraient inapplicables dès lors qu’un utilisateur exécuterait les poids sur son propre matériel, où il pourrait supprimer ou modifier n’importe quelle mesure de sécurité, affiner les modèles ou modifier les invites du système.
Les développeurs de pointe tels qu’OpenAI et Anthropic ont tendance à s’appuyer sur des mesures de sécurité telles que les classificateurs, l’entraînement au refus et les contrôles au niveau des API pour limiter les risques liés à l’assistance cybernétique et biologique.
D’un autre côté, ces mesures sont loin d’être infaillibles : les « jailbreaks » contournent régulièrement les protections mises en place sur les modèles déployés. Far.ai, une association à but non lucratif dédiée à la sécurité de l’IA, a découvert des centaines de « jailbreaks » universels — définis comme des clés réutilisables permettant de faire aboutir la plupart des requêtes malveillantes — dans des modèles de pointe tels que Grok 4.5 de xAI et Gemini 3.1 Pro de Google DeepMind. Selon le rapport, les « jailbreaks » aboutissent lorsque les attaquants combinent divers techniques de manipulation — notamment le jeu de rôle, l’usurpation d’autorité, la création d’un historique de conversation fictif et des invites de suivi — afin d’amplifier les failles dans les défenses d’un modèle d’IA.
Le contexte technologique évolue, et ce type d’annonce en témoigne.
Dans le même ordre d’idées :
- De nouvelles façons d’apprendre et d’enseigner grâce à ChatGPT Work et Codex
- Évaluations de cybersécurité réalisées par des tiers portant sur les modèles d’OpenAI
Information rapportée par TechCrunch AI : TechCrunch AI