مدونة HisnLabs للأمان

بقلم HisnLabs Security & Research Team · نُشر في · مدة القراءة: 8 دقيقة

Guardrino-t7 قادم: حماية روبوتات المحادثة في الإمارات من حقن الأوامر بالعربية والعربيزي

Guardrino-t7 قادم: حماية روبوتات المحادثة في الإمارات من حقن الأوامر بالعربية والعربيزي

Guardrino™-t7 قادم. إنه نموذج الحماية الذي يقع في قلب Guardrino، جدار الحماية للذكاء الاصطناعي الذي نبنيه في HisnLabs، وهي شركة مرخَّصة في المنطقة الحرة IFZA في واحة دبي للسيليكون. مهمته سهلة الوصف: أن يقرأ كل رسالة تُرسل إلى المساعد الذكي أو الوكيل الذكي لدى الشركة، بالعربية أو العربيزي أو الإنجليزية، وأن يحدّد ما إذا كان أحدهم يحاول التلاعب بالذكاء الاصطناعي. ويعمل على خوادم الشركة نفسها داخل الإمارات، ولا يحتاج الفحص أبدًا إلى إرسال الرسالة إلى أي مكان آخر.

رسم توضيحي: رسائل بالعربية والعربيزي والإنجليزية تعبر Guardrino-t7، ومحاولات التلاعب بالذكاء الاصطناعي تتوقف عند الدرع. محاكاة للتصميم المخطط، وليست لقطة من المنتج.

لم يُطرح بعد. ونستقبل الآن شركاء للبرنامج التجريبي: شركات في الإمارات تشغّل، أو تخطط لتشغيل، روبوت محادثة أو وكيلًا ذكيًا لعملائها أو موظفيها، وتريد تجربته على حركة بياناتها الفعلية في وضع المراقبة فقط، قبل حظر أي شيء. يشرح هذا المقال ما يفعله Guardrino-t7 اليوم، وكيف يبقي بياناتك داخل الدولة، وعلى أي هجمات دُرِّب، وأين تقف حدوده.

Guardrino-t7: ضوابط حماية للذكاء الاصطناعي في الإمارات، صُنعت في دبي لروبوتات المحادثة والوكلاء

باتت البنوك وشركات الاتصالات والعيادات والمطوّرون العقاريون والجهات الحكومية في الإمارات تجيب عملاءها عبر مساعدات ذكية، ويوكل عدد متزايد منها إلى وكلاء الذكاء الاصطناعي مهامّ حقيقية: قراءة البريد الإلكتروني، وتعبئة النماذج، والتواصل مع وكلاء شركات أخرى. وكل واحد من هذه المساعدات يمكن لأي شخص أن يحادثه. وتضع OWASP حقن الأوامر في صدارة قائمتها لأهم عشر مخاطر في تطبيقات النماذج اللغوية الكبيرة تحت الرمز LLM01، وتصفه بأنه مُدخل يغيّر سلوك النموذج بطرق غير مقصودة أو غير متوقعة [1].

ضابط الحماية هو الفحص الذي يقف أمام النموذج ويقرأ ما يصل إليه. وGuardrino-t7 مصنِّف: يعطي قرارًا واحدًا لكل رسالة، أي درجة خطورة، ولا يكتب أي نص من عنده. وهو صغير، نحو 118 ميغابايت بعد الضغط، ويجيب خلال أجزاء من الثانية على معالج خادم عادي، من غير حاجة إلى معالج رسومي أو خدمة سحابية. وهذا الحجم اختيار مقصود: فنموذج بهذا الحجم يستطيع فحص كل رسالة من غير أن يبطئ المساعد، ويمكنه أن يعمل على خادم تملكه الشركة أصلًا.

الذكاء الاصطناعي السيادي: يعمل على خوادمك داخل الإمارات

بالنسبة إلى كثير من المؤسسات في الإمارات، لا يقتصر السؤال عن أي أداة لأمن الذكاء الاصطناعي على «هل تعمل؟»، بل يشمل أيضًا «إلى أين تذهب رسائل عملائنا؟». فقد دخل المرسوم بقانون اتحادي رقم 45 لسنة 2021 بشأن حماية البيانات الشخصية حيز التنفيذ في 2 يناير 2022، وهو يحدد متطلبات نقل البيانات الشخصية ومشاركتها عبر الحدود لأغراض المعالجة، ولمركز دبي المالي العالمي قانونه الخاص، قانون حماية البيانات رقم 5 لسنة 2020 [2]. وضابط الحماية الذي يرسل كل رسالة إلى الخارج لفحصها يضيف عملية نقل أخرى تحتاج إلى تبرير.

بُني Guardrino-t7 على العكس من ذلك. فالنموذج وقواعده ملفات تثبّتها على أجهزتك، في مركز بياناتك أو في حسابك السحابي داخل الإمارات، فتُفحص الرسالة حيث هي أصلًا ولا تغادر خوادم الشركة لأجل الفحص. ولا يحتاج الفحص إلى أي اتصال بالإنترنت، ما يعني أنه يستطيع العمل على شبكة معزولة تمامًا. وتبقى الأجهزة والمفاتيح والسجلات بين يديك.

  • داخل مقرّك أو في حسابك السحابي الخاص داخل الإمارات: يعمل الفحص بجوار مساعدك.
  • لا اتصال بأي خدمة خارجية لاتخاذ القرار بشأن رسالة.
  • خفيف بما يكفي لمعالج خادم عادي: أجزاء من الثانية لكل رسالة، من غير معالج رسومي.
  • يمكن وضعه أمام النموذج الذي اخترته أصلًا، سواء استُضيف في الخارج أو في منطقة سحابية إماراتية أو على أجهزتك.

العربية والعربيزي واللهجات: ما يجب أن تقرأه حماية روبوتات المحادثة في الإمارات

العميلة في دبي لا تكتب كما تُكتب مجموعات الاختبار. قد تبدأ باللهجة الخليجية، ثم تنتقل إلى الإنجليزية لاسم منتج، وتختم بالعربيزي، أي العربية المكتوبة بالحروف اللاتينية والأرقام، حيث يرمز 3 إلى العين و7 إلى الحاء [3]. ويأتي العملاء والموظفون في الإمارات من أنحاء العالم العربي كله، فيسمع المساعد نفسه المصرية والشامية والعراقية في عصر يوم واحد. والضابط الذي لا يقرأ إلا الإنجليزية إما أن يفوّت هجومًا مكتوبًا باللهجة، وإما أن يحظر سؤالًا عاديًا لأنه يبدو غريبًا عليه.

بُني Guardrino-t7 في الإمارات للعربية والعربيزي والإنجليزية معًا. فهو مدرَّب على العربية الفصحى وعلى اللهجات الخليجية والإماراتية والمصرية والشامية والمغاربية والعراقية والسودانية، مكتوبةً من غير تشكيل، ومشكولةً بالكامل، ومع الحركات التي يبعثرها المهاجمون للتحايل على المرشّحات، وبالعربيزي، إلى جانب الإنجليزية والرسائل التي تمزج العربية بالإنجليزية. والرسائل الفرنسية جزء من اختباراتنا أيضًا، أما التدريب اليوم فيتركز على العربية والإنجليزية.

الحماية من حقن الأوامر بالعربية: عائلات الهجمات التي دُرِّب عليها

لا نقول إن Guardrino-t7 يوقف كل هجوم، ولا يستطيع أي مزوّد صادق أن يقول ذلك: فـOWASP نفسها تكتب أنه من غير الواضح ما إذا كانت هناك طرق مضمونة تمامًا لمنع حقن الأوامر [1]. ما نستطيع قوله بدقة هو ما دُرِّب عليه. فقد دُرِّب Guardrino-t7 على العائلات الرئيسية من الهجمات المعروفة على المساعدات الحوارية، بالعربية والعربيزي والإنجليزية:

  • تجاوز التعليمات: «تجاهل تعليماتك»، «انسَ القواعد السابقة»، وصيغها باللهجات وبالعربيزي.
  • استخراج تعليمات النظام: محاولات دفع المساعد إلى كشف تعليماته المخفية أو إعداداته أو أسراره.
  • كسر الحماية عبر لعب الأدوار وانتحال الشخصيات: «أنت الآن ذكاء اصطناعي آخر بلا قواعد»، والقصص والفرضيات المستعملة غطاءً.
  • السلطة المزيّفة: رسائل تدّعي أنها من فريق تقنية المعلومات في البنك أو من مدير أو من جهة رقابية لفتح شيء مغلق.
  • التعليمات المخفية داخل رسائل بريد ومستندات ملصوقة، وهو الحقن غير المباشر الذي أثبته باحثون ضد تطبيقات حقيقية في 2023 [4].
  • النصوص المشفّرة أو المموّهة: تعليمات مخبّأة في ترميزات أو حروف متشابهة الشكل أو أخطاء إملائية متعمّدة، وتذكرها OWASP ضمن سيناريوهات الهجوم [1].
  • هجمات العربيزي واللهجات: الحيل نفسها مكتوبةً بالخليجية أو المصرية أو الشامية، أو بالحروف اللاتينية، للتسلل من مرشّحات لا تقرأ إلا الإنجليزية.

كشف محاولات كسر الحماية بالعربية من غير حظر العملاء الغاضبين

رصد الهجمات نصف المهمة فقط. والنصف الآخر ألّا يُحظر الناس الذين وُجد المساعد لخدمتهم. فالعميل الذي يكتب بأحرف كبيرة أنه اتصل ثلاث مرات بشأن فاتورته غاضب، لا خطِر. والسؤال عن الطقس في محادثة بنك خارج الموضوع، لا هجوم. والطالب الذي يلصق آية مشكولة بالكامل لا يخفي شيئًا.

لذلك دُرِّب Guardrino-t7 بالعناية نفسها على رسائل آمنة تشبه الهجمات: عملاء غاضبون أو منزعجون، وأسئلة خارج الموضوع، ومفردات أمنية يومية مثل «كلمة المرور» و«إعادة التعيين»، ورسائل بريد ونتائج أدوات لا تحمل أي تعليمات، وأسئلة دينية وطبية وقانونية بالعربية. وكتبنا المزيد عن هذا التوازن في ضوابط حماية لا تزعج مستخدميك.

السياسة كرمز برمجي: قواعد يتحكم بها مسؤول أمن المعلومات، وسجل تدقيق بلا نصوص الرسائل

يعطي Guardrino-t7 درجة، لكنه لا يقرر مصير الرسالة. فهذا القرار لملف السياسة، وهو نص بسيط يكتبه فريق الأمن لديك ويراجعه ويحفظ نسخه كأي إعداد آخر. ولكل نوع من النتائج، تختار السياسة إجراءً واحدًا من سلّم قصير: السماح، أو الإخفاء، أو التحذير، أو طلب إعادة الصياغة، أو الحظر. ويحدد الملف نفسه عتبة درجة النموذج، وما إذا كانت كل طبقة تطبّق قراراتها أو تكتفي بالمراقبة. وأي إعداد لا يعرفه الملف يُرفض بدل أن يُتجاهل، فلا يمكن لخطأ مطبعي أن يعطّل قاعدة بصمت.

يُسجَّل كل قرار في سجل تدقيق، سطرًا لكل فحص، مع الإجراء والدرجة والوقت. ولا يحتفظ السجل افتراضيًا بأي نص من الرسائل، بل ببصمة للرسالة محسوبة بمفتاح سري: يمكن عدّ التكرارات داخل بيئتك، لكن من غير المفتاح، الذي يبقى على خادمك، لا يستطيع أحد أن يختبر تخمينًا، كرقم هوية إماراتية مثلًا، مقابل السجل. أما حفظ النص، مُخفًى أو كما أُرسل، فإعداد صريح لا تفعّله إلا حيث تسمح به قواعدك.

المراقبة أولًا: كيف يعمل البرنامج التجريبي

لا ينبغي لأحد أن يضع ضابط حماية جديدًا أمام عملاء حقيقيين من اليوم الأول. ولهذا بالذات يملك Guardrino وضع المراقبة فقط: تمر كل رسالة من غير تغيير، ويسجّل Guardrino ما كان سيفعله. وفي هذا الوضع يجري فحص النموذج خارج مسار الطلب، فلا يؤخّر فحصٌ بطيء أو متعثّر أيَّ عميل. وبإعداد واحد ينتقل النظام من المراقبة إلى التطبيق، حين تكون مستعدًا لا قبل ذلك.

  1. مكالمة قصيرة عن مساعدك أو وكيلك، واللغات التي يكتب بها عملاؤك، وقواعدك الخاصة بالبيانات.
  2. تثبيت Guardrino على خوادمك أو في حسابك السحابي داخل الإمارات، في وضع المراقبة فقط، أمام نموذجك الحالي.
  3. تقرير يومي بما كان سيسمح به أو يخفيه أو يحذّر منه أو يطلب إعادة صياغته أو يحظره، نراجعه معك.
  4. يضبط فريق الأمن لديك ملف السياسة، وأنت من يقرر إن كان أي شيء سيُطبَّق ومتى.

إن كنت تشغّل مساعدًا أو وكيلًا ذكيًا في الإمارات، فاطلب تجربة أو إثبات مفهوم مع HisnLabs. وخلفية المشروع في لماذا نبني Guardrino للشرق الأوسط.

أين تقف حدوده

نفضّل أن تسمع عن الحدود منّا بدل أن تكتشفها في بيئة التشغيل.

  • لا يوجد ضابط حماية يكشف كل شيء. يقلّل Guardrino-t7 الخطر ولا يلغيه.
  • المستندات الطويلة المموّهة هي أصعب حالة اليوم: مذكرة داخلية مزيّفة مقنعة، فيها تعليمة واحدة مدفونة في الوسط. وهذا ما نعمل على تحسينه الآن، ولهذا درسنا كيف تخدع المستندات المفخّخة المساعدات الذكية (بالإنجليزية).
  • يحكم Guardrino-t7 على ما إذا كانت الرسالة تحاول التلاعب بالذكاء الاصطناعي. أما المحتوى الضار الخالي من الحيل، والهجمات الموزّعة ببطء على محادثة طويلة، فتحتاج إلى طبقات أخرى.
  • إنه طبقة واحدة. وتبقى ضرورية مراقبةُ سلامة محتوى إجابات النموذج، وصلاحياتٌ معقولة لوكلائك، ومراجعةٌ بشرية للإجراءات المهمة.
  • يبدأ في وضع المراقبة فقط، ولن تُنشر نتائج إلا بعد قياسها وفق منهجية علنية.

أسئلة شائعة عن ضوابط حماية الذكاء الاصطناعي في الإمارات

ما هو Guardrino-t7؟

Guardrino-t7 هو نموذج الحماية الذي تبنيه HisnLabs في دبي لروبوتات المحادثة ووكلاء الذكاء الاصطناعي. يقرأ الرسائل بالعربية ولهجاتها وبالعربيزي والإنجليزية، ويقدّر ما إذا كانت تحاول التلاعب بالذكاء الاصطناعي، كحقن الأوامر أو كسر الحماية. وهو قادم قريبًا، ومتاح اليوم عبر البرنامج التجريبي.

هل يحمي من حقن الأوامر بالعربية والعربيزي؟

نعم، فهذا ما بُني من أجله. دُرِّب Guardrino-t7 على تجاوز التعليمات، واستخراج تعليمات النظام، وكسر الحماية بلعب الأدوار، والسلطة المزيّفة، والتعليمات المخفية في المستندات، والنصوص المموّهة، بالفصحى وباللهجات الخليجية والمصرية والشامية والمغاربية والعراقية والسودانية وبالعربيزي والإنجليزية. ومثل أي ضابط حماية، يقلّل الخطر ولا يلغيه.

هل يمكن تشغيله داخل المقر في دبي، أو على شبكة معزولة؟

نعم. يعمل Guardrino-t7 على خوادمك داخل الإمارات، على معالج عادي، ولا يتصل الفحص بأي خدمة خارجية، لذا يمكنه العمل على شبكة لا تتصل بالإنترنت. ولا تغادر الرسائل خوادم شركتك لأجل الفحص.

ماذا يعني أمن الذكاء الاصطناعي السيادي هنا؟

يعني أنك تملك زمام الفحص كله: النموذج يعمل على أجهزتك، والقواعد ملف يملكه مسؤول أمن المعلومات لديك، وسجل التدقيق يبقى عندك ولا يحتفظ افتراضيًا بأي نص من الرسائل. ولا تحتاج HisnLabs إلى رؤية حركة بياناتك كي يعمل Guardrino.

هل سيحظر عملائي عن طريق الخطأ؟

لهذا السبب يبدأ كل برنامج تجريبي في وضع المراقبة فقط، حيث لا يُحظر شيء وترى ما كان Guardrino سيفعله. كما أن النموذج مدرَّب على عملاء غاضبين وأسئلة خارج الموضوع ورسائل آمنة أخرى تشبه الهجمات، وسياستك هي التي تقرر إن كانت النتيجة تحذيرًا أو طلبًا لإعادة الصياغة أو حظرًا.

هل Guardrino-t7 متاح الآن؟

ليس كإصدار عام. تستقبل HisnLabs الآن شركاء للبرنامج التجريبي في الإمارات؛ اطلب الوصول المبكر من صفحة Guardrino.

دور Guardrino وHisnLabs

Guardrino-t7 قادم، والبرنامج التجريبي هو الطريق لتبدأ شركتك في الإمارات باستخدامه مبكرًا: على خوادمها، في وضع المراقبة فقط، وبقواعدها الخاصة. تُظهر المحاكاة أدناه نوع الرسائل التي بُني من أجلها.

المصادر