Des chercheurs affirment que les balises de rôle des LLM peuvent être exploitées pour contourner les protections contre l’injection de prompts

Des chercheurs en sécurité ont signalé une nouvelle façon d’induire les grands modèles de langage en erreur afin qu’ils ignorent les limites de sécurité, en exploitant la manière dont les modèles interprètent les prompts fondés sur les rôles. Ces travaux suggèrent que les défenses actuelles contre l’injection de prompts restent fragiles, car les modèles pourraient ne pas distinguer de manière fiable les instructions fiables des textes malveillants.

L’étude, menée par les chercheurs indépendants Charles Ye et Jasmine Cui avec Dylan Hadfield-Menell, professeur associé au MIT, est décrite dans un article intitulé Prompt Injection as Role Confusion, qui doit être présenté à l’ICML 2026. Les auteurs affirment que les LLM modernes s’appuient fortement sur des étiquettes textuelles telles que system, user, assistant, tool et think pour séparer les instructions et gérer le comportement, mais que ces étiquettes ne sont pas appliquées de manière sécurisée au sein même du modèle.

Selon les chercheurs, les modèles déduisent souvent les rôles à partir d’indices superficiels, comme le style d’écriture, plutôt qu’à partir de métadonnées fiables. Cela ouvre la voie à des attaques qui imitent le raisonnement interne ou d’autres formats privilégiés. Lors d’une démonstration, ils ont utilisé une technique qu’ils appellent « falsification de la chaîne de pensée » (Chain of Thought Forgery) pour donner l’impression que le modèle avait déjà réfléchi à la demande et l’avait approuvée.

Les chercheurs affirment que, lors de tests de référence, cette méthode a considérablement augmenté les taux de réussite des attaques par rapport aux tentatives classiques de contournement des garde-fous. Ils soutiennent également que cette approche se transfère plus fiablement d’un modèle à l’autre que bon nombre des techniques d’injection de prompts existantes, car elle cible une faiblesse structurelle plutôt que de reposer sur les particularités d’un seul modèle.

Pourquoi ce problème est important

• Les marqueurs de rôle constituent un élément essentiel de la manière dont les LLM séparent les textes fiables des textes non fiables.
• Les attaquants pourraient être en mesure d’injecter du contenu trompeur au moyen de prompts ou de documents.
• Les scores obtenus lors des tests de référence peuvent surestimer la résistance dans le monde réel s’ils n’intègrent pas de tests adaptatifs menés par des humains.
• Selon les chercheurs, des protections plus robustes pourraient nécessiter une refonte en profondeur de la manière dont les modèles comprennent les rôles et les autorisations.

Les auteurs de l’article concluent que l’injection de prompts a peu de chances de disparaître dans le cadre du modèle de sécurité actuel. Selon eux, le secteur pourrait avoir besoin de nouvelles méthodes permettant aux modèles de reconnaître plus fiablement l’autorité et les limites, plutôt que de continuer à corriger individuellement les vulnérabilités au fur et à mesure de leur apparition.