حواجز حماية الذكاء الاصطناعي 101: ما هو حاجز الحماية وماذا يفحص

تعتمد الشركات المساعدات والوكلاء الذكيين لأنهم يجيبون العملاء أسرع، ويقرؤون المستندات في ثوانٍ، ويخففون عن الفرق الأعمال المتكررة. وحاجز الحماية هو ما يتيح لها ذلك بثقة. إنه نقطة تفتيش بين الناس (أو الوكلاء) ونموذج اللغة، تنظر فيما يدخل وما يخرج، وتطبّق قواعد الشركة: هذه البيانات تبقى خاصة، وهذا الموضوع خارج النطاق، وهذه التعليمات لا يحق لها أن تتحكم في المساعد.

حاجز الحماية الجيد لا يشعر به المستخدم العادي. معظم الرسائل تمر مباشرة، وهو يتصرف مع القلة التي تحمل خطرًا، وبقدر الحاجة: إخفاء رقم بطاقة أفضل من رفض السؤال كله.

نقطتا تفتيش: المدخلات والمخرجات

• فحص المدخلات ينظر فيما يُرسَل إلى النموذج: رسالة المستخدم، وأيضًا المستندات وصفحات الويب ونتائج الأدوات التي يضيفها التطبيق إلى الموجّه. يلتقط محاولات التلاعب بالنموذج، والبيانات الشخصية التي لا ينبغي أن تصل إليه أبدًا.
• فحص المخرجات ينظر في جواب النموذج، ويُفضَّل أثناء ظهوره. يوقف سرًّا أو بيانات عميل أو محتوى مخالفًا للسياسة قبل أن يراه القارئ.

يعمل الفحصان معًا. فحص المدخلات يوقف معظم المشكلات مبكرًا، حيث تكون الكلفة أقل. وفحص المخرجات هو شبكة الأمان لما لا يظهر إلا في الجواب، كنموذج خُدع فكرّر تعليماته الخاصة.

ثلاث مشكلات مختلفة

يضع مشروع OWASP حقن الأوامر في المرتبة الأولى بين مخاطر التطبيقات المبنية على نماذج اللغة الكبيرة، ويصف كسر القيود بأنه شكل من أشكال حقن الأوامر يجعل النموذج يتجاهل بروتوكولات السلامة ^[1]. وتشير الأبحاث حول إخفاق تدريب السلامة إلى سببين: تتنافس أهداف النموذج (أن يكون مفيدًا وأن يكون آمنًا)، ولا يمتد تدريب السلامة إلى كل أشكال المدخلات، مثل النص المرمَّز ^[2]. التمييز بين المشكلات الثلاث مهم لأن لكل منها فحصًا مختلفًا، ولأن حاجز الحماية الذي يخلط بينها يميل إلى حجب الأسئلة العادية.

مباشر وغير مباشر

الهجوم المباشر يكتبه الشخص الذي يحادث المساعد. أما الهجوم غير المباشر فمخبّأ في محتوى يقرؤه المساعد نيابة عن أحد: بريد إلكتروني يلخّصه، أو ملف PDF مرفوع إلى قاعدة معرفة، أو صفحة ويب يزورها وكيل، أو نتيجة استدعاء أداة، أو رسالة من وكيل آخر. وقد بيّن Greshake وزملاؤه أن التعليمات المزروعة في مثل هذا المحتوى يمكن أن توجّه التطبيق الذي يسترجعه، دون أن يكتب المستخدم شيئًا ^[3].

• المستندات وقواعد المعرفة: نص أبيض، أو تعليقات، أو بيانات وصفية، أو محارف غير مرئية قد تحمل تعليمات لا يراها القارئ البشري.
• نتائج الأدوات: جواب واجهة برمجية أو نتيجة بحث بيانات، لكن النموذج قد يقرأ تعليمة فيها كأنها أمر.
• الوكلاء: الوكيل القادر على إرسال البريد أو تشغيل الشيفرة أو استدعاء وكلاء آخرين يحوّل الحقن الناجح إلى فعل. والرسائل بين الوكلاء تستحق التدقيق نفسه الذي تستحقه مدخلات المستخدم.

من الدفاعات المدروسة جيدًا وسم المحتوى غير الموثوق بوضوح على أنه بيانات، حتى يميّزه النموذج عن التعليمات التي عليه اتباعها؛ ويسمّي باحثو Microsoft هذه العائلة من التقنيات «التسليط» (spotlighting) ^[4]. ويضيف حاجز الحماية خطًّا ثانيًا: يفحص ذلك المحتوى بحثًا عن تعليمات قبل أن يقرأه النموذج.

ما ليس حاجز الحماية

• ليس بديلًا عن تصميم جيد للتطبيق. امنح الوكيل الأدوات والبيانات التي يحتاجها فقط، وأبقِ الأسرار خارج الموجّهات، وتحقّق مما يرسله إلى الأنظمة الأخرى.
• إنه طبقة ضمن دفاع متعدد الطبقات. يتعامل تصنيف NIST للهجمات على أنظمة الذكاء الاصطناعي معها كمشكلات مفتوحة تقلّل فيها الدفاعات الخطر ولا تزيله ^[5].
• لا يقرر ما هو صحيح. التحقق من الحقائق في الجواب عمل مختلف.