مدونة HisnLabs للأمان

بقلم HisnLabs Security & Research Team · نُشر في · مدة القراءة: 2 دقيقة

لماذا يجب أن يقع حاجز حماية الذكاء الاصطناعي في مسار الطلب

لماذا يجب أن يقع حاجز حماية الذكاء الاصطناعي في مسار الطلب

حاجز الحماية الذي على التطبيق أن يتذكّر استدعاءه سيُتجاوز عاجلًا أو آجلًا: نقطة وصول جديدة، أو إصدار متعجّل، أو سكربت كُتب في عصر يوم واحد. والمكان الموثوق للفحص هو مسار الطلب نفسه، فلا يصل شيء إلى النموذج ولا إلى المستخدم دون أن يمرّ به.

هكذا يُقدَّم جاردرينو. تبقى واجهة inspect للتطبيقات التي تريد أن تطرح سؤالًا. أما التكاملات التالية فتضع جاردرينو حيث تمرّ الحركة أصلًا، وتبيّن القائمة الأخيرة ما هو متاح اليوم.

يطبّق كل مسار الفحوص نفسها التي تطبّقها واجهة inspect، فتغطيها جميعًا سياسة واحدة وسجل تدقيق واحد. وفي وثائق المطورين من HisnLabs صفحة لكل من الوكيل وLiteLLM وMCP، مع أمثلة والحدود التي ما زالت قائمة.

وكيل متوافق مع OpenAI: تغيير عنوان واحد

يوفّر جاردرينو المسار POST /v1/chat/completions. والتطبيق الذي يتحدث بواجهة الدردشة الخاصة بـ OpenAI يغيّر عنوانه الأساسي فقط. يفحص جاردرينو أدوار المستخدم، والسياق الذي يقرؤه النموذج بوصفه بيانات (نتائج الأدوات، والمستندات، وأجزاء الصور والملفات التي تمرّ أولًا بخدمة الاستخراج)، والرد. ويعود الرفض بصيغة خطأ OpenAI، فتستمر معالجة الأخطاء الحالية في التطبيق بالعمل.

تُفحص الردود المبثوثة أثناء نموّها

الرد الذي يصل على أجزاء لا يصحّ الحكم عليه عند النهاية فقط. يقرأ جاردرينو الرد المبثوث وهو يتراكم. وإذا خالف السياسة ينتهي التدفق بحدث خطأ. والأجزاء التي أُرسلت فعلًا لا يمكن سحبها؛ فحيث يجب ألا يُعرض شيء قبل فحصه، يحتجز buffer_output = true الرد حتى يجتاز الفحص كاملًا.

كل نموذج خلف LiteLLM

الفرق التي توجّه نماذج كثيرة عبر LiteLLM لا تريد حاجز حماية لكل نموذج. يستطيع جاردرينو أن يعمل حاجز حماية مخصصًا في LiteLLM قبل الاستدعاء وبعده، أو أن يقف أمام LiteLLM وتكون LiteLLM واجهته الأمامية. وفي الحالتين تغطي مجموعة واحدة من الفحوص كل نموذج خلفه.

أدوات MCP: الأوصاف والنتائج مدخلات أيضًا

يقرأ الوكيل الذكي وصف الأداة كأنه تعليمة، ويقرأ نتيجة الأداة كأنها معلومة موثوقة. وكلاهما نص كتبه شخص آخر. يقع وكيل أمان MCP بين الوكيل الذكي وخوادم MCP الخاصة به. يفحص أوصاف الأدوات عند عرض قائمتها، ويفحص الوسائط الصادرة (الرمز الكناري، والبيانات الشخصية، والروابط)، ويقرأ النتائج العائدة بوصفها سياقًا، على نوافذ.

  • تُفحص الأوصاف عند عرض قائمة الأدوات.
  • تُفحص الوسائط وهي في طريقها إلى الخارج.
  • تُفحص النتائج وهي عائدة، كأي مستند يقرؤه النموذج.

أين وصل كل تكامل

  • واجهة inspect: متاح
  • الوكيل المتوافق مع OpenAI: متاح
  • فحص البث (server-sent events): متاح
  • إضافة حاجز الحماية في LiteLLM: متاح
  • وكيل أمان MCP: متاح

إضافة LiteLLM واختباراتها وأمثلة جاهزة للوكيل والبث وMCP متاحة بالمصدر المفتوح على GitHub بترخيص Apache-2.0.

دور Guardrino وHisnLabs

صُمم جاردرينو ليقع في مسار الطلب: وكيل متوافق مع OpenAI وحاجز حماية في LiteLLM ووكيل أمان لـ MCP، وكلها متاحة، فيحدث الفحص حيث تمرّ الحركة أصلًا.

المصادر