Un pas supplémentaire vient d’être franchi dans cette révolution technologique en cours.
Grok exfiltre les données des utilisateurs lorsque des instructions malveillantes sont chiffrées
L’injection de contexte cryptographique n’est que la dernière méthode en date permettant de contourner les mesures de sécurité des modèles de langage à grande échelle (LLM).
En début de semaine, des équipes de recherche ont décrit une attaque qui exploitait une entrée secrète fournie par Microsoft 365 Copilot for Enterprise pour amener l’assistant IA à exfiltrer un mot de passe présent dans la boîte de réception de l’utilisateur. Aujourd’hui, une autre équipe a mis au point une attaque similaire contre Grok. Cette nouvelle faille permettant le vol de données utilise une astuce d’une simplicité trompeuse pour forcer le grand modèle linguistique appartenant à Elon Musk à dérober les conversations des utilisateurs et d’autres informations personnelles. Au moment de la publication de cet article, l’assistant continuait de divulguer ces informations, bien que xAI en ait été informée dès le mois de juin.
La leçon à tirer des deux épisodes de cette semaine — ainsi que des innombrables autres qui les ont précédés — est que les grands modèles de langage (LLM) sont incapables de résoudre les causes profondes des injections de prompts, qui constituent la catégorie de vulnérabilités la plus grave à laquelle ils sont le plus exposés. Les développeurs d’IA n’ont donc d’autre choix que de mettre en place des garde-fous pour empêcher le modèle de commettre des actions préjudiciables. Comme je l’ai souligné dans l’article de mardi, cette approche revient à ce qu’un ingénieur spécialisé dans la sécurité routière installe une glissière de sécurité autour d’un virage dangereux au lieu d’incliner la courbe.
Les injections de prompt tirent parti de l’entraînement des LLM pour répondre aux demandes des utilisateurs dans la mesure du possible. Les pirates peuvent tirer parti de cette prédilection en introduisant subrepticement des instructions malveillantes dans les e-mails ou les pages Web que l’assistant est chargé de résumer. Comme les LLM ne sont pas en mesure de distinguer de manière fiable le contenu d’un e-mail envoyé par une source non fiable des instructions de l’utilisateur saisies directement dans une invite, le LLM, trop zélé, les suit à la lettre. À ce jour, la seule solution dont disposent Grok et les autres modèles de langage à grande échelle (LLM) consiste à mettre en place des mécanismes de protection qui signalent les instructions suspectes et empêchent leur exécution.
Rony Utevsky, chercheur au sein de la société de sécurité Adversa, a récemment découvert un moyen simple de contourner complètement cette restriction. Au lieu de rédiger l’instruction malveillante en clair, le pirate informatique la crypte. Le site web hébergeant le texte chiffré contient également des instructions en clair permettant de déchiffrer le contenu chiffré, ainsi que la clé de déchiffrement. Grâce à cette séquence simple, Grok exécute alors la commande dès que l’utilisateur demande à l’assistant de résumer la page. Aucun avertissement n’est affiché et aucune confirmation n’est requise.
Il faut souligner, les instructions déchiffrées ordonnent au LLM de générer ce qui est censé être une clé de déchiffrement. En réalité, il s’agit de tout autre chose. La valeur de cette fausse clé correspond en fait au nom de l’utilisateur, à sa localisation et à l’historique de ses conversations. Cette valeur est ensuite utilisée comme paramètre ajouté à une URL redirigeant vers le site de l’attaquant. Dès que Grok clique sur le lien, les données se retrouvent dans les journaux du serveur de l’attaquant.
Reste à voir comment l’industrie va réagir à cette annonce.
À découvrir aussi :
- Un AirTag caché révèle qu’Amazon détruit des livres rares pour entraîner son IA
- Une femme affirme que son beau-père a utilisé Grok pour transformer une photo d’enfance en image à caractère sexuel | TechCrunch
Selon l’information initialement publiée par Ars Technica AI : Ars Technica AI