أفضل ضابط حماية هو الذي لا يلاحظه عملاؤك أبدًا. يطرحون أسئلتهم بكلماتهم ولهجتهم، فيحصلون على إجابة مفيدة. وخلف الكواليس، تُعالَج بحزم الرسالة النادرة التي تحاول التلاعب بالمساعد. هذه هي الغاية، ولها شقّان. معظم ما يُكتب عن أمن الذكاء الاصطناعي يتحدث عن الشق الأول فقط، أي رصد الهجمات. أما هذا المقال فعن الشق الثاني: أن يمرّ الناس.
ولذلك سبب تجاري بسيط. فضابط الحماية الذي يرفض الأسئلة العادية لا يجعل أحدًا أكثر أمانًا. يعيد المستخدمون الصياغة بضيق، أو يستسلمون، أو يتصلون بخط الدعم الذي وُجد المساعد لتخفيف الضغط عنه. ويسمع الفريق المسؤول عن المساعد الشكاوى، فيخفّف المرشّح عاجلًا أو آجلًا أو يطفئه. والضابط المطفأ لا يحمي شيئًا. فالحجب المفرط ليس فائضًا في الأمن، بل إخفاق فيه.
للباحثين اسم لهذه الظاهرة
تسمّيها ورقة XSTest «السلامة المبالغ فيها» (exaggerated safety): نماذج ترفض حتى الطلبات الآمنة بوضوح حين تشبه في لغتها الطلبات غير الآمنة أو تذكر موضوعات حساسة. وقد بنى مؤلفوها اختبارًا من 250 طلبًا آمنًا ينبغي للنموذج المتوازن أن يجيب عنها، إلى جانب 200 طلب غير آمن ينبغي أن يرفضها، كي يُقاس هذا الإخفاق بدل أن يُخمَّن [1].
ووصل فريق CyberSecEval 2 في Meta إلى النقطة نفسها من الجانب الأمني: تدريب النموذج على رفض الطلبات غير الآمنة قد يجعله يرفض خطأً طلبات بريئة، مما يقلّل فائدته. واقترحوا متابعة ذلك بوصفه معدل رفض خاطئ، إلى جانب أرقام الهجمات [2]. والدرس للمشترين مباشر: جودة ضابط الحماية رقمان لا رقم واحد، مقدار ما يرصده من تلاعب، وقلّة ما يوقفه خطأً من رسائل عادية.
أين تخطئ المرشّحات الساذجة في العربية
يزداد الحجب المفرط سوءًا في اللغات التي لم يُبنَ المرشّح لها. فكثير من المرشّحات تتعلّم في الغالب من الإنجليزية، والعربية كما تُكتب فعلًا في الخليج تبدو لها غريبة. الأمثلة التالية من صياغتنا، كُتبت لتوضيح النمط، وكل منها رسالة عادية قد يسيء مرشّح متسرّع الحكم عليها.
النص المشكول بالكامل
تُكتب معظم العربية من غير حركات قصيرة، لكنها تُستعمل في النصوص التي تتطلب نطقًا دقيقًا: القرآن والحديث والشعر وكتب الأطفال والمواد التعليمية [3]. والطالب الذي يلصق «العِلْمُ نُورٌ» في مساعد مدرسي يفعل أمرًا عاديًا تمامًا. غير أن المهاجمين يضيفون التشكيل أيضًا لتمويه الكلمات المحظورة، فالمرشّح الذي يتعلّم أن «كثرة التشكيل تعني مشكلة» ينتهي إلى معاملة النصوص الدينية والمدرسية على أنها مريبة. يجب ألّا يصبح التشكيل علامة على هجوم أبدًا. والتصميم الصحيح يزيله قبل الفحص، ثم يحكم على المعنى.
العربيزي
العربيزي هي العربية المكتوبة بالحروف اللاتينية والأرقام، إذ يرمز الرقم 3 إلى العين، و7 إلى الحاء، و2 إلى الهمزة، وتُستعمل خصوصًا في المحادثات والرسائل النصية [4]. فالعميل الذي يكتب «ana 3ayez a3raf leh el card bta3ti et2afalet» (بالمصرية: «أريد أن أعرف لماذا أُوقفت بطاقتي») يطرح سؤالًا مصرفيًا روتينيًا. لكنه في نظر مرشّح لا يعرف إلا الإنجليزية يبدو ضجيجًا أو تمويهًا، وفي نظر مرشّح لا يعرف إلا الحرف العربي يبدو غير مرئي. وفي الحالتين يُخذَل العميل.
اللهجة الخليجية والرسائل المختلطة
«أبي أكسر حد التحويل اليومي، شلون؟» عبارة خليجية تعني «أريد رفع حدّ التحويل اليومي، كيف؟»، مع أنها تقول حرفيًا «أكسر» الحد. فيرى مرشّح الكلمات المفتاحية «كسر» وتحويل أموال فيرتاب. وإن أضفت الإنجليزية في الجملة نفسها، كما يفعل كثيرون في الخليج بطبيعتهم («please check my balance، ابي اعرف الرصيد»)، فقد يقرأ المرشّح الذي ينتظر لغة واحدة في كل رسالة هذا التنقّل نفسه على أنه حيلة. هؤلاء عملاء لا مهاجمون.
خمس نتائج لا نتيجتان
أكثر الأفكار فائدة في ضابط حماية ودود مع المستخدم أن «السماح» و«الحجب» ليسا الخيارين الوحيدين. فدرجة الخطر يمكن أن تقابلها عدة إجراءات، ومعظمها يُبقي المحادثة قائمة.
- السماح: تمرّ الرسالة كما كُتبت. وينبغي أن تكون هذه نتيجة الغالبية العظمى من الرسائل.
- الإخفاء: يلصق المستخدم رقم هوية أو آيبان، فيستبدله الضابط بعنصر نائب قبل أن يراه النموذج، ثم يعيد القيمة الحقيقية في الإجابة. يحصل المستخدم على رد مفيد، ولا تصل القيمة إلى مزوّد النموذج.
- التنبيه: تمرّ الرسالة مع ملاحظة قصيرة للمستخدم وقيد في سجلّك. مفيد في المناطق الرمادية التي يحسمها السياق.
- طلب إعادة الصياغة: بدل رفض جاف، يُدعى المستخدم إلى صياغة طلبه بطريقة أخرى. فالتوجيه المهذّب يُبقي العميل الحائر في المحادثة.
- الحجب: يُحتفظ به لمحاولات التلاعب الواضحة أو الطلبات التي لا تسمح بها سياستك، ويُسجَّل لفريق الأمن لديك.
ويستحق الإخفاء وقفة خاصة، لأنه يحوّل الرفض إلى قبول. فـ OWASP تدرج تنقية المحتوى الحساس أو إخفاءه ضمن تدابير الحدّ من الإفصاح عن المعلومات الحساسة [5]. والضابط الذي يحجب كل رسالة فيها رقم هوية إماراتية يجعل المساعد عديم الفائدة في نماذج التأشيرات وخطابات البنوك وأسئلة الموارد البشرية، أما الضابط الذي يخفيه فيدع المساعد يساعد بأمان.
كيف صُمّم Guardrino ليُبقي المستخدمين العاديين راضين
ينطلق Guardrino، جدار الحماية للذكاء الاصطناعي الذي تبنيه HisnLabs للشركات، من هذا المبدأ. وكل ما يلي تصميم مخطط له، لا منتج مطروح، ولن ننشر أي نتائج مقيسة قبل أن يُختبر إصدار على مجموعات اختبار عامة وأخرى محجوزة.
- التنظيف أولًا: توحيد التشكيل والتطويل وأشكال الألف والياء، وقراءة العربيزي على أنها عربية، قبل أي فحص. فيُحكم على القصيدة المشكولة وغير المشكولة بالمعنى نفسه.
- النتائج الخمس أعلاه، تختارها سياستك أنت، لكل تطبيق ولكل فريق. فالمساعد المدرسي ومساعد المدفوعات لا يحتاجان إلى الحدود نفسها.
- بداية بوضع المراقبة فقط: في الأسابيع الأولى يسجّل Guardrino ما كان سيفعله فحسب، وتراجع أنت النتائج قبل حجب أي شيء.
- مجموعة يجب أن تمرّ: مجموعة ثابتة من الرسائل العربية والإنجليزية اليومية التي يجب أن تمرّ دائمًا، تُفحص من جديد قبل كل تغيير.
- ملاحظات تعلّمه: حين يتجاوز مستخدم أو مسؤول قرارًا ما، تُراجَع الحالة وتُستعمل لتحسين الفحوص.
النتيجة التي نصمّم من أجلها مساعدٌ يستمتع عملاؤك باستعماله باللغة التي يتحدثونها فعلًا، وفريقُ أمن يرى في السجل بدقة ما الذي أُوقف ولماذا. ولفهم الطبقات وراء هذه القرارات، اقرأ دليلنا المبسّط إلى ضوابط حماية الذكاء الاصطناعي. وللتحقق بنفسك من أرقام الحجب الخاطئ لأي ضابط حماية، اتبع درس الاختبار.
قائمة تحقق قصيرة لمساعدك
- اكتب عشرين سؤالًا حقيقيًا يطرحه مستخدموك، بكل لغة ولهجة يستعملونها، بما في ذلك العربيزي والرسائل المختلطة، ومرّرها عبر ضابط الحماية. يجب أن تمرّ كلها.
- راجع رسائل الرفض لديك. هل يمكن أن يتحوّل بعضها إلى دعوة لإعادة الصياغة؟
- ابحث عن كل قاعدة تحجب البيانات الشخصية، واسأل هل يتيح الإخفاء للمساعد أن يساعد بدلًا من ذلك.
- تأكد أن سجلّك يبيّن سبب إيقاف كل رسالة، حتى تُكتشف القرارات الخاطئة وتُصحَّح.
- قِس معدل الحجب الخاطئ قبل كل تغيير وبعده، لا عدد الهجمات المرصودة فحسب.
إن كنت تشغّل تطبيقات ذكاء اصطناعي بالعربية والإنجليزية وتريد ضابط حماية مصمَّمًا حول مستخدميك منذ اليوم الأول، فإن البرنامج التجريبي لـ Guardrino مفتوح لعدد محدود من الشركات. وخلفية المشروع في مقال لماذا نبني Guardrino للشرق الأوسط.
دور Guardrino وHisnLabs
صُمّم Guardrino ليفهم أولًا الأشخاصَ الذين يخدمهم ذكاؤك الاصطناعي، وألّا يرفض طلباتهم إلا في آخر المطاف. تُظهر المحاكاة أدناه الفكرة في ثلاث رسائل: بيانات شخصية تُخفى، وهجوم يُوقَف مع طلب إعادة الصياغة بدل رفض جاف، وسؤال عربي عادي يمرّ مباشرة. Guardrino قيد التطوير ولم يُطرح بعد.