Garde-fous IA 101 : ce qu’est un garde-fou et ce qu’il contrôle

Les entreprises adoptent des assistants et des agents IA parce qu’ils répondent plus vite aux clients, lisent des documents en quelques secondes et soulagent leurs équipes des tâches répétitives. Le garde-fou est ce qui leur permet de le faire en confiance. C’est un point de contrôle placé entre les personnes (ou les agents) et un modèle de langage : il regarde ce qui entre et ce qui sort, et applique les règles de l’entreprise. Ces données restent privées, ce sujet est hors périmètre, cette instruction n’a pas le droit de prendre le contrôle de l’assistant.

Un bon garde-fou est invisible pour les utilisateurs normaux. La plupart des messages passent directement. Il agit sur les quelques-uns qui présentent un risque, et il agit avec mesure : masquer un numéro de carte vaut mieux que refuser toute la question.

Deux points de contrôle : l’entrée et la sortie

• Les contrôles en entrée examinent ce qui est envoyé au modèle : le message de l’utilisateur, mais aussi les documents, les pages web et les résultats d’outils que l’application ajoute au prompt. Ils repèrent les tentatives de manipulation du modèle et les données personnelles qui ne devraient jamais l’atteindre.
• Les contrôles en sortie examinent la réponse du modèle, idéalement pendant qu’elle s’affiche. Ils arrêtent un secret, les données d’un client ou un contenu contraire à la politique avant que le lecteur ne le voie.

Les deux fonctionnent ensemble. Le contrôle en entrée arrête la plupart des problèmes tôt, là où c’est le moins coûteux. Le contrôle en sortie est le filet de sécurité pour ce qui n’apparaît que dans la réponse, par exemple un modèle amené par la ruse à répéter ses propres instructions.

Trois problèmes différents

L’OWASP classe l’injection de prompt comme premier risque des applications fondées sur les grands modèles de langage, et décrit le jailbreak comme une forme d’injection de prompt qui amène le modèle à ignorer ses protocoles de sécurité ^[1]. Les travaux sur les échecs de l’entraînement de sécurité pointent deux causes : les objectifs du modèle entrent en concurrence (être utile, être sûr), et cet entraînement ne se généralise pas à toutes les formes d’entrée, comme le texte encodé ^[2]. Distinguer ces trois problèmes compte, car chacun demande un contrôle différent, et un garde-fou qui les confond a tendance à bloquer des questions ordinaires.

Direct et indirect

Une attaque directe est tapée par la personne qui parle à l’assistant. Une attaque indirecte est cachée dans un contenu que l’assistant lit pour quelqu’un : un e-mail qu’il résume, un PDF déposé dans une base de connaissances, une page web visitée par un agent, le résultat d’un appel d’outil ou le message d’un autre agent. Greshake et ses collègues ont montré que des instructions placées dans un tel contenu peuvent piloter l’application qui le récupère, sans que l’utilisateur ne tape quoi que ce soit ^[3].

• Documents et bases de connaissances : du texte blanc, des commentaires, des métadonnées ou des caractères invisibles peuvent porter des instructions qu’aucun lecteur humain ne voit.
• Résultats d’outils : une réponse d’API ou un résultat de recherche sont des données, mais un modèle peut y lire une instruction comme un ordre.
• Agents : un agent capable d’envoyer des e-mails, d’exécuter du code ou d’appeler d’autres agents transforme une injection réussie en action. Les messages entre agents méritent la même vigilance que ceux des utilisateurs.

Une défense bien étudiée consiste à marquer clairement le contenu non fiable comme des données, pour que le modèle le distingue des instructions qu’il doit suivre ; des chercheurs de Microsoft appellent cette famille de techniques le spotlighting ^[4]. Le garde-fou ajoute une seconde ligne : il analyse ce contenu à la recherche d’instructions avant que le modèle ne le lise.

Ce qu’un garde-fou n’est pas

• Il ne remplace pas une bonne conception de l’application. Donnez à un agent seulement les outils et les données dont il a besoin, gardez les secrets hors des prompts et validez ce qu’il envoie aux autres systèmes.
• C’est une couche dans une défense en profondeur. La taxonomie du NIST sur les attaques visant les systèmes d’IA les traite comme des problèmes ouverts, où les défenses réduisent le risque sans le supprimer ^[5].
• Il ne décide pas de ce qui est vrai. Vérifier les faits d’une réponse est un autre métier.