Tutoriel : testez n’importe quel garde-fou avant de lui faire confiance

Choisir un garde-fou est une décision d’entreprise, et elle mérite des preuves. Bonne nouvelle : la méthode est simple et fonctionne de la même façon pour tous les produits, le nôtre compris. Avec un après-midi de préparation, votre équipe peut voir comment un garde-fou se comporte sur votre type de trafic, dans vos langues, avant qu’un seul client ne le rencontre.

L’idée derrière chaque étape

Considérez le garde-fou comme une fonction : un message entre, un score sort, de 0 à 1, qui signifie « quelle est la probabilité que ce soit une attaque ? ». Un seuil transforme le score en décision. Un jeu de test est une liste de messages dont vous connaissez déjà la bonne réponse. Appliquez la fonction à chaque message et comptez deux choses :

• Arrêtées : les attaques dont le score atteint ou dépasse le seuil, sur l’ensemble des attaques.
• Bloqués à tort : les messages sains dont le score atteint ou dépasse le seuil, sur l’ensemble des messages sains.

Ajoutez le temps que prend un contrôle, sur un matériel précisé, et vous avez les trois chiffres qui comptent.

Quatre règles pour des chiffres honnêtes

1. Ne testez jamais sur ce qui a servi à l’entraînement. Un modèle obtient de bons scores sur les messages qu’il a déjà vus. Demandez au fournisseur quels jeux publics ont servi à l’entraînement, et écartez-les de votre test.
2. Fixez le seuil avant de regarder le test. Choisissez-le sur un jeu de validation séparé, notez-le, puis lancez le test une fois. Ajuster le seuil en regardant les résultats du test les embellit.
3. Donnez toujours les deux côtés. Un garde-fou qui bloque tout arrête toutes les attaques. Chaque chiffre « arrêtées » doit être accompagné de son chiffre « bloqués à tort », mesuré sur un jeu qui contient des messages sains.
4. Dites ce que mesure chaque jeu. Certains portent sur le contenu préjudiciable, d’autres sur la manipulation ; certains ne contiennent que des attaques. Présentez chaque jeu séparément, jamais un chiffre unique qui mélange tout.

Des jeux de test publics à connaître

Donnez un intervalle, pas un point

Un taux mesuré sur 50 messages et le même taux mesuré sur 5 000 ne disent pas la même chose. Donnez chaque taux avec n, le nombre de messages derrière lui, et un intervalle de confiance, par exemple un intervalle de Wilson ^[4]. Quand les intervalles de deux garde-fous se chevauchent, le test n’a pas montré que l’un est meilleur. L’article de Miller sur les barres d’erreur des évaluations de modèles explique comment planifier et comparer de telles mesures ^[5].

Testez dans les langues de vos clients

Un garde-fou solide en anglais peut encore trébucher sur l’arabe. Séparez vos résultats par forme d’écriture, pas seulement par langue :

• L’arabe tel qu’on le tape d’habitude, et l’arabe avec un tashkeel correct : les deux doivent passer quand ils sont sains. Le texte vocalisé est normal dans les textes religieux, littéraires et scolaires.
• L’arabe avec un tashkeel ou un tatweel ajouté au hasard : la manière dont un attaquant tente de passer sous un filtre.
• L’arabizi, et les dialectes de vos clients : du Golfe, égyptien, levantin.
• L’arabe et l’anglais mélangés dans un même message, comme écrivent beaucoup de gens dans la région.

Deux façons de lancer le test

1. Noter le garde-fou seul : envoyez-lui chaque message de test et enregistrez le score. Rapide, peu coûteux et facile à répéter à chaque nouvelle version.
2. De bout en bout : faites passer les attaques à votre chatbot seul, puis au même chatbot derrière le garde-fou, et laissez un modèle juge décider à chaque fois si le chatbot a été piégé. La différence est l’apport du garde-fou. Nommez le modèle cible et le juge, car les erreurs du juge font partie du résultat.

Puis essayez-le sur votre propre trafic

Les jeux publics disent comment un garde-fou se comporte en général ; votre trafic dit comment il se comporte pour vous. Faites-le d’abord tourner en mode observation : il enregistre ce qu’il aurait fait et ne bloque rien. Passez en revue ce qu’il aurait bloqué, ajustez la politique, et appliquez quand vous êtes satisfait. Ajoutez une campagne de red team, des attaques automatisées contre une copie de test de votre assistant, et transformez chaque attaque qui passe en nouveau cas de test.

Les questions à poser à tout fournisseur

• Quels jeux de test publics avez-vous utilisés, et certains faisaient-ils partie de vos données d’entraînement ?
• Comment avez-vous choisi le seuil, et sur quelles données ?
• Quel est le taux de blocage à tort, sur quels messages sains, dans quelles langues ?
• Sur combien de messages repose chaque chiffre, et quel est son intervalle de confiance ?
• Pouvons-nous refaire le test nous-mêmes ?

Guardrino est construit pour répondre publiquement à chacune de ces questions : chaque version est prévue avec un rapport sur des jeux de test publics et sur un jeu à nous tenu à l’écart, avec n, les intervalles et la règle du seuil, pour que chacun puisse le refaire. Guardrino est en développement ; sa page affichera ce rapport dès qu’une vraie version existera, et n’affiche rien d’ici là. Pour une méthode de comparaison plus poussée, voir la leçon Comparer les garde-fous équitablement (en anglais).