حين تربط شركةٌ مساعدًا أو روبوت محادثة أو وكيلًا ذكيًا بنموذج لغوي كبير، تحصل على شيء لافت: مساعد يجيب العملاء في أي ساعة، وبكلماتهم هم. لكنّ الانفتاح نفسه الذي يجعله مفيدًا يعني أيضًا أن كل رسالة باب محتمل للدخول. ضابط الحماية (guardrail) هو الجزء من النظام الذي يسمح لك بالحفاظ على هذا الانفتاح بثقة: يقرأ ما يدخل إلى النموذج وما يخرج منه، ويطبّق قواعدك في الطريق، فيكون المساعد سخيًّا مع من صُمّم لخدمتهم، وحازمًا مع القلّة التي تحاول إساءة استخدامه.
يشرح هذا الدليل ما يفعله ضابط الحماية، وكيف تُبنى الضوابط الجيدة، وكيف تميّز القوي منها من الضعيف. وهو موجّه إلى أصحاب القرار: مسؤولي المنتجات، وقادة الأمن، والمديرين الذين يوافقون على إطلاق خدمة تعتمد على الذكاء الاصطناعي.
ما هو ضابط الحماية، في فقرة واحدة
ضابط الحماية نقطة تفتيش تقع بين مستخدميك (أو وكلائك) والنموذج، وتمرّ بها كل رسالة. يبحث عن عدد قليل من الأمور المهمة: شخص يحاول تجاوز تعليمات المساعد، وبيانات شخصية لا ينبغي إرسالها إلى مزوّد النموذج، وطلبات لا تسمح بها سياستك، وإجابات لا ينبغي أن تصل إلى المستخدم. ويتخذ قرارًا بشأن كل رسالة، وليس القرار دائمًا «الحجب». فالضابط المصمَّم جيدًا يستطيع أن يمرّر الرسالة، أو يُخفي قيمة حساسة، أو يضيف تنبيهًا، أو يطلب من المستخدم إعادة الصياغة، أو يوقفها. ومعظم الرسائل في يوم عادي ينبغي أن تمرّ ببساطة، بسرعة ودون أن يلاحظها أحد.
المخاطر التي وُجد من أجلها
يحتفظ مشروع OWASP GenAI Security بأشهر قائمة لمخاطر التطبيقات المبنية على النماذج اللغوية. وثلاثة من بنودها تصف معظم ما يُراد من ضابط الحماية في الشركات.
- حقن الأوامر (prompt injection). تعرّفه OWASP في جملة واحدة: «A Prompt Injection Vulnerability occurs when user prompts alter the LLM's behavior or output in unintended ways»، أي أنه يحدث حين تغيّر مدخلات المستخدم سلوك النموذج أو مخرجاته بطرق غير مقصودة [1].
- الإفصاح عن المعلومات الحساسة: ظهور بيانات شخصية أو مالية أو معلومات تجارية سرية حيث لا ينبغي، في أي من الاتجاهين [2].
- الصلاحيات المفرطة (Excessive Agency): مساعد قادر على استدعاء أدوات أو أنظمة أخرى يفعل أكثر مما ينبغي. وتحدّد OWASP ثلاثة أسباب جذرية: الوظائف المفرطة، والأذونات المفرطة، والاستقلالية المفرطة [3].
وتتضمن قائمة OWASP لتدابير الحدّ من حقن الأوامر: تطبيق تصفية المدخلات والمخرجات، وفصل المحتوى الخارجي وتمييزه، وإجراء اختبارات عدائية ومحاكاة للهجمات [1]. وضابط الحماية هو الصورة العملية للتدبيرين الأولين، أما الثالث فهو الطريقة التي تعرف بها أنه يعمل.
فحص المدخلات وفحص المخرجات
يعمل ضابط الحماية في الاتجاهين. في طريق الدخول يفحص ما كتبه المستخدم، والمستندات المرفقة، وكل ما يُسترجع من قاعدة معارفك. هنا يكتشف محاولات توجيه النموذج، وهنا يستطيع أن يستبدل رقم الهوية أو رقم الآيبان بعنصر نائب قبل أن يراه مزوّد النموذج. وفي طريق الخروج يفحص إجابة النموذج قبل أن يقرأها مستخدمك: هل تكشف شيئًا من تعليمات النظام؟ هل تكرّر بيانات شخصية لا ينبغي تكرارها؟ هل تخالف الصيغة التي ينتظرها تطبيقك؟
وتزداد أهمية فحص المخرجات حين تُبثّ الإجابات كلمةً كلمة. فالضابط الذي لا يقرأ إلا الإجابات المكتملة إما أن يجعل المستخدم ينتظر الرد كله، وإما أن يفحصه بعد فوات الأوان. أما التصميم الجيد فيقرأ البثّ لحظة وصوله، ويستطيع إيقاف الإجابة في منتصفها.
طبقات: الفحوص السريعة أولًا، والمراجعة المعمّقة عند الحاجة فقط
فحص كل رسالة بنموذج كبير سيكون بطيئًا ومكلفًا، وفحصها بقائمة كلمات محظورة سيكون سريعًا وشبه عديم الجدوى. أما الضوابط القوية فتجمع الفكرتين في طبقات، تُعالَج فيها كل رسالة بأخفّ خطوة قادرة على الحسم.
- التنظيف. قبل أي شيء، تُزال الحيل التي تُخفي النص عن المرشّحات: المحارف غير المرئية، والحروف المتشابهة، والنصوص المرمّزة، وفي العربية التشكيل والتطويل. فتقرأ كل الفحوص اللاحقة النص كما يقرؤه الإنسان.
- قواعد سريعة. فحوص أنماط لما له شكل معروف، مثل أرقام الهويات الوطنية وأرقام الآيبان وأرقام البطاقات والمفاتيح المسرّبة، إضافة إلى قوائم السماح والحظر الخاصة بك. لا تستغرق وقتًا يُذكر، وتحسم حالات كثيرة.
- مصنِّف صغير. نموذج مدمج مدرَّب على سؤال واحد: هل يحاول هذا النص التلاعب بالذكاء الاصطناعي؟ يقرأ المعنى لا الكلمات المفتاحية، فيستطيع التعرّف على هجوم مكتوب بأسلوب جديد.
- مراجعة معمّقة. للرسائل القليلة التي تبقى غامضة بعد الخطوات الثلاث الأولى فقط: نظرة أدق إلى الرسالة في سياق المحادثة، قبل أن تقرّر سياستك.
والغاية من الطبقات ليست السرعة وحدها، بل أن تُصرف الخطوة الدقيقة المكلفة حيث تلزم، وألّا تتأخر الرسائل العادية بسبب فحص لم تكن تحتاج إليه.
الوكلاء والمستندات: حين لا يكتب المستخدمُ التعليمة
أصعب الحالات هي التي لا يتوقعها معظم الناس. تميّز OWASP بين الحقن المباشر الذي يكتبه الشخص في المحادثة، والحقن غير المباشر الذي يحدث «when an LLM accepts input from external sources, such as websites or files»، أي حين يتلقى النموذج مدخلات من مصادر خارجية كالمواقع أو الملفات [1]. وقد أظهرت ورقة بحثية نشرها Greshake وزملاؤه عام 2023 هذا الشكل غير المباشر على منتجات حقيقية، وشرحت السبب الجذري: التطبيقات المدمجة بالنماذج اللغوية «blur the line between data and instructions»، أي تطمس الحدّ بين البيانات والتعليمات [4].
وبالنسبة إلى الشركة، يعني هذا أن على ضابط الحماية أن يقرأ أيضًا ما يقرؤه المساعد: ملف PDF يرفعه العميل، وصفحة الويب التي يزورها الوكيل، والنتيجة التي تعيدها أداة ما. فالجملة المخفية بخط أبيض في مستند تبقى جملة في نظر النموذج. والضابط الذي لا يفحص إلا خانة المحادثة يرى نصف الصورة، أما الذي يفحص المستندات ونتائج الأدوات، ويقيّد الأدوات التي يحق للوكيل استدعاؤها، فيغطي الطريقة التي تُبنى بها معظم عمليات نشر الوكلاء الحقيقية.
كيف يبدو الضابط الجيد: يرصد التلاعب ويُمرّر الناس
لضابط الحماية مهمتان، ويُحكم عليه بهما معًا. الأولى واضحة: ملاحظة محاولات التلاعب بالنموذج. والثانية لا تقل أهمية: أن يمرّ الناس العاديون. وقد قاس الباحثون كلفة الإخفاق في الثانية؛ إذ تصف ورقة XSTest نماذج ترفض «even clearly safe prompts»، أي حتى الطلبات الآمنة بوضوح، حين تشبه في لغتها الطلبات غير الآمنة أو تذكر موضوعات حساسة، وقد بنى مؤلفوها اختبارًا من 250 طلبًا آمنًا و200 طلب غير آمن للمقارنة [5]. وعبّر فريق CyberSecEval 2 في Meta عن هذه المقايضة بوضوح: تدريب النموذج على رفض الطلبات غير الآمنة قد يجعله يرفض خطأً طلبات بريئة، مما يقلّل فائدته، واقترحوا قياس ذلك بمعدل الرفض الخاطئ [6].
لهذا تُصمَّم أفضل الضوابط حول الأشخاص الذين تخدمهم. فالعميل الذي يسأل كيف يبلّغ عن بطاقة مسروقة ليس مهاجمًا لأن رسالته تحتوي كلمة «مسروقة»، والطالب الذي يلصق بيتًا من الشعر مشكولًا بالكامل لا يُخفي شيئًا. وحين يعاملهم الضابط بلطف، يثق المستخدمون بالمساعد، وتحصل الشركة على القيمة الكاملة للذكاء الاصطناعي الذي دفعت ثمنه. وقد خصّصنا لهذا الموضوع مقالًا مستقلًا: ضوابط حماية لا تزعج مستخدميك.
كيف تختار ضابط حماية: ستة أسئلة تطرحها على المورّد
لا تحتاج إلى أن تكون متخصصًا في تعلّم الآلة لتقارن بين ضوابط الحماية. اطرح هذه الأسئلة، وانتظر إجابات واضحة.
- هل اختُبر على مجموعات اختبار عامة أستطيع إعادة تشغيلها بنفسي، وعلى بيانات لم يُدرَّب عليها قط؟ اطلب أسماء المجموعات وطريقة لإعادة إنتاج الأرقام.
- ما النتائج لكل لغة؟ الرقم المجمَّع الواحد قد يخفي نقطة ضعف. وإن كان مستخدموك يكتبون بالعربية ولهجاتها أو بالعربيزي، فاطلب نتائج هذه الفئات منفصلة.
- كم مرة يحجب رسائل عادية خطأً؟ كل رقم عن الهجمات المرصودة يحتاج إلى رقم الحجب الخاطئ بجانبه، مقيسًا على نصوص آمنة.
- على كم رسالة تستند كل نتيجة، وما مدى عدم اليقين فيها؟ نتيجة على خمسين رسالة ونتيجة على خمسة آلاف ليستا الادعاء نفسه.
- كم من الوقت يضيف إلى كل رسالة، مقيسًا على عتاد محدّد وبأطوال رسائل معتادة؟
- أين تُعالَج بياناتي وتُخزَّن، ومن يستطيع قراءة السجلات، وهل يمكن تشغيله داخل شبكتي إن احتجت إلى ذلك؟
المورّد الذي يجيب عن الأسئلة الستة بأرقام وروابط ومنهجية يقدّم لك شيئًا يمكنك التحقق منه. ويشرح درسنا عن كيفية اختبار ضابط حماية بمجموعات اختبار عامة هذه المنهجية خطوة بخطوة، لتتمكن من إجراء الفحوص نفسها بنفسك.
أين يقع Guardrino
Guardrino هو جدار الحماية للذكاء الاصطناعي الذي تبنيه HisnLabs للشركات، وهذا الدليل يصف الطريقة التي صُمّم بها. فمن المخطط أن يكون بوابة بين موظفيك ووكلائك وأي نموذج لغوي، بالفحوص المتدرّجة الموصوفة أعلاه، مع إخفاء البيانات الشخصية قبل أن يراها النموذج، وسياسة بخمس نتائج (السماح، والإخفاء، والتنبيه، وطلب إعادة الصياغة، والحجب)، وفحص الإجابات أثناء بثّها، وفحص المستندات ونتائج الأدوات التي يقرؤها الوكلاء. وهو مبني للعربية والإنجليزية منذ البداية، بما في ذلك اللهجتان الخليجية والمصرية والعربيزي، ومن المخطط أن يعمل مستضافًا في الإمارات أو مثبّتًا دون اتصال داخل شبكتك.
Guardrino قيد التطوير. لا توجد بعد نسخة عامة ولا سعر ولا موعد إطلاق، ولن ننشر أي نتائج قبل أن يُقاس إصدارٌ بالطريقة التي يوصي بها هذا الدليل. ويمكن للشركات التي تريد أن تساهم في تشكيله الانضمام إلى البرنامج التجريبي عبر صفحة Guardrino. وإن أردت معرفة القصة وراءه، فاقرأ لماذا نبني Guardrino للشرق الأوسط.
دور Guardrino وHisnLabs
Guardrino هو جدار الحماية للذكاء الاصطناعي الذي تبنيه HisnLabs للشركات وفق المبادئ التي يعرضها هذا الدليل. وهو قيد التطوير ولم يُطرح بعد؛ وتُظهر المحاكاة القصيرة أدناه ما صُمّم للقيام به مع أنواع الرسائل الموصوفة أعلاه.