Les développements se succèdent à un rythme impressionnant dans l’IA.
Autrefois particulièrement utilisé pour attaquer les IA, le « contrebande ASCII » est désormais adopté par les spammeurs
Un bloc Unicode autrefois négligé, invisible à l’œil nu, est de plus en plus utilisé.
Notons par ailleurs, une technique astucieuse, initialement utilisée pour dissimuler des invites malveillantes dans le cadre d’attaques visant des agents d’intelligence artificielle, a été reprise par les spammeurs afin de contourner les filtres des plateformes de messagerie électronique, conçus pour repérer les messages indésirables utilisés dans les campagnes de spam de masse.
Point notable, cette technique est communément appelée « contrebande ASCII ». Elle a attiré l’attention il y a deux ans en tant que moyen de rendre plus furtive une catégorie d’attaques par IA connue sous le nom d’« injections de prompt ». Les instructions malveillantes intégrées dans des e-mails ou d’autres contenus non fiables destinés à être traités par un modèle de langage de grande envergure (LLM) ne sont pas écrites en texte ordinaire. Elles sont plutôt représentées par une série spécifique de balises Unicode. Par exemple, le caractère U+E0041 est l’image miroir de « A », et U+E0061 est l’image miroir de « a ».
Ce bloc de 128 balises reproduit presque parfaitement une partie de l’American Standard Code for Information Interchange, à une différence majeure près : les caractères qu’elles codent sont lisibles par les ordinateurs mais, de par leur conception, sont presque totalement invisibles pour l’œil humain. En intégrant ces invites malveillantes dans ces balises, les modèles de langage de grande envergure (LLM) détectent les instructions, mais les personnes qui lisent l’e-mail ne les voient jamais. Vous trouverez ici davantage d’informations sur la technique de « contrebande ASCII ».
Au début de cette année, Microsoft a constaté une augmentation massive du nombre de messages de spam utilisant cette technique. À partir d’un jour donné début février, le nombre de signatures de « contrebande ASCII » détectées par Microsoft Defender for Office est passé d’environ 21 000 par jour à plus de 1,3 million. En l’espace de quatre jours, le nombre de signatures détectées a bondi à 2,5 millions. Les pluies torrentielles se sont poursuivies pendant des mois, puis ont brusquement cessé à la mi-mai.
« Étant donné que les caractères de balisage sont invisibles à l’œil nu mais existent au niveau du traitement du texte, la même propriété qui les rend utiles pour introduire clandestinement des instructions dans un système les rend également utiles pour masquer des mots-clés avant qu’un détecteur ne les analyse », a expliqué Microsoft jeudi. « L’intention est inversée, mais le mécanisme est similaire, et cela n’éveille pas les soupçons de l’utilisateur. »
Les spammeurs intègrent du code Unicode afin de contourner les filtres qui recherchent du texte, comme des montants en dollars et les mots « crédit » et « durée », que l’on retrouve couramment dans leurs e-mails de masse. En insérant ce texte invisible au milieu du mot « funding », par exemple, les filtres peuvent lire à la place les mots « fun » et « ding ». Le destinataire, quant à lui, voit le mot « financement ».
Crédit :
MicrosoftCrédit :
Microsoft
Ce développement s’ajoute à une longue série d’évolutions dans le secteur.
À lire également :
- Les données recueillies par les drones en Ukraine alimentent un inédit marché aux allures de « Far West »
- Roland se lance dans la musique générée par l’IA avec Melody Flip
Article original : Ars Technica AI : Ars Technica AI