Un acteur majeur du secteur vient de faire parler de lui.
Aujourd’hui, les défenseurs adoptent eux aussi cette approche de l’injection rapide
Le « context bombing » incite les agents de piratage à se désactiver avant qu’ils ne puissent causer de dommages.
Les « injections de prompt », ces commandes malveillantes que les pirates intègrent dans du contenu afin d’inciter les grands modèles linguistiques à les exécuter, constituent l’logiciel de prédilection des pirates pour retourner les plateformes d’IA contre leurs utilisateurs. Il suffit souvent d’une commande bien formulée, glissée dans un e-mail ou une invitation de calendrier, pour amener le LLM à exfiltrer des données sensibles ou à effectuer d’autres actions nuisibles.
Aujourd’hui, les défenseurs se rallient eux aussi à cette injection rapide.
Des scientifiques de Tracebiton Monday ont déclaré avoir découvert que le simple fait d’ajouter des injections rapides aux mots de passe, clés cryptographiques et autres informations confidentielles stockées sur Amazon Web Services suffisait souvent à neutraliser les attaques menées par des agents de piratage basés sur l’IA. Ces instructions incitent le LLM attaqué à effectuer une action interdite par ses « garde-fous », ces barrières de sécurité mises en place par les développeurs d’IA pour l’empêcher de commettre des actes préjudiciables. Le LLM réagit alors en s’arrêtant.
À relever, on peut citer, par exemple, une instruction demandant au LLM de fournir les étapes nécessaires à la fabrication de spores d’anthrax inhalables ou, dans le cas des LLM développés par des développeuses et développeurs chinois, de faire référence à l’emblématique « Tank Man » du massacre de la place Tiananmen en 1989. Dès que le LLM rencontre ces commandes interdites, il cesse d’exécuter les instructions qui lui ont été éléments. Les scientifiques ont baptisé cette technique « context bombing ».
À ce sujet, « En fin de compte, nous déclenchons un mécanisme de refus dans ce contexte », a déclaré Andy Smith, cofondateur et PDG de Tracebit, en expliquant le choix de ce nom. « Ce que nous essayons de mettre en évidence, c’est le fait que cela a un effet puissant et brutal, dont les agents peuvent avoir du mal à se remettre. Une fois qu’ils auront intégré cela dans leur contexte, ils continueront à refuser. »
Selon Tracebit, les premiers tests indiquent que le « context bombing » présente un fort potentiel. L’entreprise a testé les modèles Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro et Kimi 2.6 en leur donnant pour instruction d’effectuer des tâches courantes de développement, ce qui a conduit les modèles à répertorier des ressources et à tomber par hasard sur les chaînes de caractères dissimulées. Ils ont exécuté les modèles dans un environnement AWS simulé.
L’évolution de ce dossier sera à suivre avec attention.
À découvrir aussi :
- L’IA Siri est déjà en train de changer ma façon d’utiliser mon iPhone
- Découvrez NeuroVFM : un nouveau modèle de base en neuroimagerie entraîné avec Vol-JEPA sur des volumes d’IRM et de tomodensitométrie cliniques non triés
Lire l’article complet sur Ars Technica AI : Ars Technica AI