Le blog sécurité de HisnLabs

Par HisnLabs Security & Research Team · Publié · 11 min de lecture

Guardrino-t7 arrive : des garde-fous IA aux Émirats pour l’arabe et l’arabizi

Guardrino-t7 arrive : des garde-fous IA aux Émirats pour l’arabe et l’arabizi

Guardrino™-t7 arrive. C’est le modèle garde-fou au cœur de Guardrino, le pare-feu IA que nous construisons chez HisnLabs, une société agréée dans la zone franche IFZA, à Dubai Silicon Oasis. Son rôle est simple à énoncer : lire chaque message envoyé à l’assistant IA ou à l’agent IA d’une entreprise, en arabe, en arabizi ou en anglais, et dire si quelqu’un tente de manipuler l’IA. Il tourne sur les propres serveurs de l’entreprise aux Émirats, et la vérification n’a jamais besoin d’envoyer un message ailleurs.

Illustration : des messages en arabe, en arabizi et en anglais traversent Guardrino-t7 ; les tentatives de manipuler l’IA sont arrêtées au bouclier. Une simulation de la conception prévue, pas une capture du produit.

Il n’est pas encore disponible. Nous accueillons dès maintenant des partenaires pilotes : des entreprises des Émirats qui utilisent, ou prévoient d’utiliser, un chatbot ou un agent IA pour leurs clients ou leurs équipes, et qui veulent l’essayer sur leur propre trafic, en mode observation, avant que quoi que ce soit ne soit bloqué. Cet article explique ce que fait Guardrino-t7 aujourd’hui, comment il garde vos données dans le pays, contre quoi il est entraîné, et où il s’arrête.

Guardrino-t7 : des garde-fous IA conçus à Dubaï pour les chatbots et agents des Émirats

Banques, opérateurs télécoms, cliniques, promoteurs immobiliers et services publics des Émirats répondent désormais à leurs clients par des assistants IA, et de plus en plus confient à des agents IA de vraies tâches : lire des e-mails, remplir des formulaires, échanger avec les agents d’autres entreprises. N’importe qui peut parler à chacun de ces assistants. L’OWASP place l’injection de prompt en tête de son Top 10 pour les applications LLM, sous le code LLM01, et la décrit comme une entrée qui modifie le comportement du modèle de façon involontaire ou inattendue [1].

Un garde-fou est la vérification placée devant le modèle, qui lit ce qui arrive. Guardrino-t7 est un classifieur : il rend une décision par message, un score de risque, et ne rédige aucun texte. Il est petit, environ 118 Mo une fois compressé, et répond en quelques millisecondes sur un processeur de serveur ordinaire, sans GPU ni service cloud. Cette taille est un choix délibéré : un modèle aussi léger peut examiner chaque message sans ralentir l’assistant, et il peut tourner sur un serveur que l’entreprise possède déjà.

Sécurité IA souveraine : il tourne sur vos propres serveurs aux Émirats

Pour beaucoup d’organisations émiriennes, la question posée à tout outil de sécurité IA n’est pas seulement « est-ce que ça marche ? » mais « où partent les messages de nos clients ? ». Le décret-loi fédéral n° 45 de 2021 sur la protection des données personnelles est entré en vigueur le 2 janvier 2022 et fixe les exigences applicables au transfert et au partage transfrontaliers de données personnelles ; le DIFC a sa propre loi, la DIFC Law No. 5 of 2020 [2]. Un garde-fou qui envoie chaque message à l’étranger pour vérification ajoute un transfert de plus à justifier.

Guardrino-t7 est construit à l’inverse. Le modèle et ses règles sont des fichiers que vous installez sur vos propres machines, dans votre centre de données ou votre compte cloud aux Émirats : le message est vérifié là où il se trouve déjà et ne quitte pas les serveurs de l’entreprise pour la vérification. Rien dans la vérification n’exige de connexion à Internet, ce qui permet de l’exécuter sur un réseau isolé (air-gapped). Vous gardez le matériel, les clés et les journaux.

  • Sur site ou dans votre propre compte cloud aux Émirats : la vérification tourne à côté de votre assistant.
  • Aucun appel à un service extérieur pour décider d’un message.
  • Assez léger pour un processeur de serveur ordinaire : quelques millisecondes par message, sans GPU.
  • Utilisable devant le modèle que vous avez déjà choisi, hébergé à l’étranger, dans une région cloud émirienne ou sur votre propre matériel.

Arabe, arabizi et dialectes : ce que la sécurité des chatbots IA aux Émirats doit savoir lire

Une cliente à Dubaï n’écrit pas comme un jeu de test. Elle peut commencer en dialecte du Golfe, passer à l’anglais pour un nom de produit et finir en arabizi, l’arabe tapé en lettres latines et en chiffres, où 3 remplace ع et 7 remplace ح [3]. Les clients et les équipes aux Émirats viennent de tout le monde arabe : le même assistant entend de l’égyptien, du levantin et de l’irakien dans le même après-midi. Un garde-fou qui ne lit que l’anglais laisse passer une attaque écrite en dialecte, ou bloque une question ordinaire parce qu’elle lui paraît inhabituelle.

Guardrino-t7 est conçu aux Émirats pour l’arabe, l’arabizi et l’anglais ensemble. Il est entraîné sur l’arabe standard moderne et sur les dialectes du Golfe et des Émirats, égyptien, levantin, maghrébin, irakien et soudanais, écrits sans voyelles, entièrement vocalisés, avec les signes diacritiques semés au hasard par les attaquants pour tromper les filtres, et en arabizi, à côté de l’anglais et des messages mêlant arabe et anglais. Les messages en français font aussi partie de nos tests ; l’entraînement porte aujourd’hui sur l’arabe et l’anglais.

Protection contre l’injection de prompt en arabe : les familles d’attaques apprises

Nous ne disons pas que Guardrino-t7 arrête toutes les attaques, et aucun fournisseur honnête ne le peut : l’OWASP écrit lui-même qu’on ne sait pas s’il existe des méthodes infaillibles pour prévenir l’injection de prompt [1]. Ce que nous pouvons dire précisément, c’est sur quoi il est entraîné. Guardrino-t7 est entraîné sur les principales familles d’attaques connues contre les assistants conversationnels, en arabe, en arabizi et en anglais :

  • Le contournement des instructions : « ignore tes instructions », « oublie les règles ci-dessus », et leurs formes en dialecte et en arabizi.
  • L’extraction du prompt système : les tentatives pour faire révéler à l’assistant ses instructions cachées, ses réglages ou ses secrets.
  • Les jailbreaks par jeu de rôle ou par persona : « tu es maintenant une autre IA sans règles », les histoires et les hypothèses servant de couverture.
  • La fausse autorité : des messages qui prétendent venir de l’équipe informatique de la banque, d’un responsable ou d’un régulateur pour débloquer quelque chose.
  • Les instructions cachées dans des e-mails et des documents collés, l’injection indirecte que des chercheurs ont démontrée contre de vraies applications en 2023 [4].
  • Le texte encodé ou déguisé : des instructions cachées dans des encodages, des lettres sosies ou des fautes volontaires, que l’OWASP cite parmi les scénarios d’attaque [1].
  • Les attaques en arabizi et en dialecte : les mêmes ruses écrites en arabe du Golfe, égyptien ou levantin, ou tapées en lettres latines, pour échapper aux filtres qui ne lisent que l’anglais.

Détection de jailbreak en arabe, sans bloquer les clients mécontents

Repérer les attaques n’est que la moitié du travail. L’autre moitié consiste à ne pas bloquer les personnes que l’assistant doit servir. Un client qui écrit en majuscules qu’il a appelé trois fois pour sa facture est en colère, pas dangereux. Une question sur la météo dans le chat d’une banque est hors sujet, pas une attaque. Un étudiant qui colle un verset entièrement vocalisé ne cache rien.

Guardrino-t7 est donc entraîné avec autant de soin sur des messages sûrs qui ressemblent à des attaques : clients impolis ou exaspérés, questions hors sujet, vocabulaire courant de la sécurité comme « mot de passe » ou « réinitialiser », e-mails et résultats d’outils sans aucune instruction, questions religieuses, médicales et juridiques en arabe. Nous avons détaillé cet équilibre dans des garde-fous IA qui ne gênent pas vos utilisateurs.

Des règles sous forme de code, pilotées par votre RSSI, et un journal d’audit sans texte

Guardrino-t7 donne un score ; il ne décide pas du sort du message. Cette décision revient à un fichier de politique, un texte simple que votre équipe sécurité écrit, relit et versionne comme toute autre configuration. Pour chaque type de constat, la politique choisit une action sur une échelle courte : autoriser, masquer, avertir, demander à l’utilisateur de reformuler, ou bloquer. Le même fichier fixe le seuil du score du modèle, et indique si chaque couche applique ses décisions ou se contente d’observer. Un réglage que le fichier ne reconnaît pas est refusé plutôt qu’ignoré : une faute de frappe ne peut pas désactiver une règle en silence.

Chaque décision est inscrite dans un journal d’audit, une ligne par vérification, avec l’action, le score et l’heure. Par défaut, le journal ne garde aucun texte de message. Il garde à la place une empreinte du message calculée avec une clé : les répétitions peuvent être comptées dans votre déploiement, mais sans la clé, qui reste sur votre serveur, personne ne peut tester une supposition, un numéro d’identité émirien par exemple, contre le journal. Conserver le texte, masqué ou tel quel, est un réglage explicite que vous n’activez que là où vos propres règles le permettent.

D’abord en observation : comment fonctionne le programme pilote

Personne ne devrait placer un nouveau garde-fou devant de vrais clients dès le premier jour. Guardrino a un mode observation précisément pour cela : chaque message passe sans modification, et Guardrino note ce qu’il aurait fait. Dans ce mode, la vérification du modèle s’exécute en dehors du chemin de la requête : une vérification lente ou en échec ne retarde jamais un client. Un seul réglage fait passer un déploiement de l’observation à l’application, quand vous êtes prêts et pas avant.

  1. Un court appel sur votre assistant ou votre agent, les langues de vos clients et vos règles en matière de données.
  2. Guardrino installé sur vos serveurs ou dans votre compte cloud aux Émirats, en mode observation, devant votre modèle actuel.
  3. Un rapport quotidien de ce qu’il aurait autorisé, masqué, signalé, fait reformuler ou bloqué, que nous passons en revue avec vous.
  4. Votre équipe sécurité ajuste le fichier de politique ; vous décidez si et quand quoi que ce soit est appliqué.

Si vous exploitez un assistant ou un agent IA aux Émirats, demandez un pilote ou une preuve de concept avec HisnLabs. Le contexte du projet est expliqué dans pourquoi nous construisons Guardrino pour le Moyen-Orient.

Là où il s’arrête

Nous préférons que vous connaissiez les limites par nous plutôt que de les découvrir en production.

  • Aucun garde-fou ne détecte tout. Guardrino-t7 réduit le risque ; il ne le supprime pas.
  • Les longs documents déguisés sont aujourd’hui le cas le plus difficile : une fausse note de service convaincante, avec une seule instruction enfouie au milieu. C’est ce que nous améliorons en ce moment, et la raison pour laquelle nous avons étudié comment des documents piégés trompent les assistants IA (en anglais).
  • Guardrino-t7 juge si un message cherche à manipuler l’IA. Le contenu nuisible sans ruse, et les attaques étalées lentement sur une longue conversation, relèvent d’autres couches.
  • C’est une couche parmi d’autres. Le contrôle du contenu des réponses du modèle, des permissions raisonnables pour vos agents et la relecture humaine des actions importantes restent nécessaires.
  • Il démarre en mode observation, et des résultats ne seront publiés qu’une fois mesurés selon une méthode publique.

Questions fréquentes sur les garde-fous IA aux Émirats

Qu’est-ce que Guardrino-t7 ?

Guardrino-t7 est le modèle garde-fou que HisnLabs construit à Dubaï pour les chatbots et les agents IA. Il lit les messages en arabe, dans ses dialectes, en arabizi et en anglais, et évalue s’ils cherchent à manipuler l’IA, par injection de prompt ou par jailbreak. Il arrive bientôt, et il est accessible dès aujourd’hui par le programme pilote.

Protège-t-il contre l’injection de prompt en arabe et en arabizi ?

Oui, c’est ce pour quoi il est conçu. Guardrino-t7 est entraîné sur le contournement des instructions, l’extraction du prompt système, les jailbreaks par jeu de rôle, la fausse autorité, les instructions cachées dans des documents et le texte déguisé, en arabe standard moderne, dans les dialectes du Golfe, égyptien, levantin, maghrébin, irakien et soudanais, en arabizi et en anglais. Comme tout garde-fou, il réduit le risque sans le supprimer.

Peut-il tourner sur site à Dubaï, ou sur un réseau isolé ?

Oui. Guardrino-t7 tourne sur vos propres serveurs aux Émirats, sur un processeur ordinaire, et la vérification n’appelle aucun service extérieur : elle peut donc fonctionner sur un réseau sans accès à Internet. Les messages ne quittent pas les serveurs de votre entreprise pour la vérification.

Que veut dire « sécurité IA souveraine » ici ?

Que vous gardez la maîtrise de toute la vérification : le modèle tourne sur votre matériel, les règles sont un fichier qui appartient à votre RSSI, et le journal d’audit reste chez vous et ne garde aucun texte de message par défaut. HisnLabs n’a pas besoin de voir votre trafic pour que Guardrino fonctionne.

Va-t-il bloquer mes clients par erreur ?

C’est pour cette raison que chaque pilote commence en mode observation : rien n’est bloqué, et vous voyez ce que Guardrino aurait fait. Le modèle est aussi entraîné sur des clients en colère, des questions hors sujet et d’autres messages sûrs qui ressemblent à des attaques, et votre politique décide si un constat entraîne un avertissement, une demande de reformulation ou un blocage.

Guardrino-t7 est-il disponible maintenant ?

Pas en version publique. HisnLabs accueille dès maintenant des partenaires pilotes aux Émirats ; demandez un accès anticipé sur la page Guardrino.

Le rôle de Guardrino et de HisnLabs

Guardrino-t7 arrive, et le programme pilote permet à une entreprise des Émirats de l’utiliser en avant-première : sur ses propres serveurs, en mode observation, avec ses propres règles. La simulation ci-dessous montre le type de messages pour lesquels il est conçu.

Sources