Un assistant r\u00e9sume un document, consulte une page ou analyse un message. Le contenu peut inclure des consignes con\u00e7ues pour d\u00e9tourner son comportement. Lorsqu\u2019elles proviennent d\u2019une source externe trait\u00e9e par l\u2019assistant, on parle notamment d\u2019injection indirecte.<\/p>\n\n\n
Le risque ne se limite pas \u00e0 une mauvaise r\u00e9ponse. Si l\u2019assistant peut acc\u00e9der \u00e0 des informations sensibles ou d\u00e9clencher des actions, une consigne malveillante peut chercher \u00e0 exploiter ces capacit\u00e9s. L\u2019OWASP souligne que l\u2019impact d\u00e9pend du contexte m\u00e9tier et de l\u2019autonomie accord\u00e9e au syst\u00e8me.<\/p>\n\n\n
D\u00e9finissez les donn\u00e9es accessibles, les outils autoris\u00e9s et les actions qui n\u00e9cessitent une validation humaine. Les contr\u00f4les d\u2019autorisation des syst\u00e8mes connect\u00e9s doivent rester ind\u00e9pendants du texte produit par le mod\u00e8le. La recherche documentaire ou l\u2019ajout de consignes ne garantissent pas, seuls, l\u2019\u00e9limination du risque.<\/p>\n\n\n
Exemple fictif : un assistant pr\u00e9pare une r\u00e9ponse \u00e0 partir de pi\u00e8ces jointes. Un test contr\u00f4l\u00e9 v\u00e9rifie qu\u2019un document contenant une demande hors sujet ne peut pas provoquer un envoi externe sans validation.<\/p>\n\n\n
Commencez par un cas d\u2019usage limit\u00e9, avec peu de privil\u00e8ges et des traces exploitables. Faites examiner les actions propos\u00e9es avant d\u2019\u00e9largir l\u2019autonomie. L\u2019\u00e9valuation doit porter sur ce que le syst\u00e8me peut r\u00e9ellement faire, et pas seulement sur la qualit\u00e9 apparente de ses r\u00e9ponses.<\/p>\n\n\n