الانتقال إلى المحتوىHisnLabs
← حواجز حماية الذكاء الاصطناعي، وكيف صُمِّم جاردرينو

الدرس 5 من 5 · 7 دقيقة

مسرد: مصطلحات حواجز حماية الذكاء الاصطناعي بالعربية والإنجليزية والفرنسية

الكلمات التي ستصادفها عند اختيار حاجز حماية للذكاء الاصطناعي أو تشغيله، من التشكيل والعربيزي إلى حقن الأوامر والحجب الخاطئ ونطاقات الثقة، كل منها باسمه الإنجليزي والفرنسي وشرح بسيط.

الفرق التي تختار حواجز الحماية وتشغّلها تعمل غالبًا بعدة لغات: تُناقَش السياسة بالعربية، ويكتب المورّد بالإنجليزية، وتصل إرشادات الجهة التنظيمية بالفرنسية أو الإنجليزية. يعطي هذا المسرد كل مصطلح اسمه المعتاد باللغات الثلاث وجملة شرح بسيطة، حتى يقصد الجميع في الاجتماع الشيء نفسه.

العربيةEnglishFrançaisالمعنى
حاجز حمايةGuardrailgarde-fouنقطة تفتيش بين الناس أو الوكلاء ونموذج الذكاء الاصطناعي، تطبّق قواعد المؤسسة على ما يدخل وما يخرج.
فحص المدخلات / فحص المخرجاتInput check / output checkcontrôle en entrée / en sortieفحص المدخلات ينظر فيما يُرسل إلى النموذج (الرسائل والمستندات ونتائج الأدوات)؛ وفحص المخرجات ينظر في الجواب، ويُفضَّل أثناء ظهوره.
حقن الأوامرPrompt injectioninjection de promptنص يحاول أن يستبدل بتعليمات تطبيق الذكاء الاصطناعي تعليماتِ المهاجم.
حقن الأوامر غير المباشرIndirect prompt injectioninjection de prompt indirecteحقن أوامر مخبّأ في محتوى يقرؤه الذكاء الاصطناعي نيابة عن أحد: مستند أو صفحة ويب أو بريد أو نتيجة أداة أو رسالة وكيل آخر.
كسر القيودJailbreakjailbreak (contournement)أسلوب لجعل النموذج يتخلى عن سلوك السلامة: تقمّص دور، أو إطار خيالي، أو نص مرمَّز، أو طلب موزّع على عدة رسائل.
محتوى ضارHarmful contentcontenu préjudiciableطلب أو جواب مخالف للسياسة بسبب مضمونه، دون أي حيلة.
موجّه النظامSystem promptprompt systèmeالتعليمات المخفية التي يعطيها التطبيق للنموذج قبل بدء المحادثة.
التشكيلTashkeeltashkeel (signes voyelles)علامات الحركات والنطق في العربية (الفتحة والضمة والكسرة والسكون والشدة). طبيعية في القرآن والشعر والكتب المدرسية؛ وتُضاف أحيانًا عشوائيًا لإخفاء كلمة عن المرشّح.
التطويل (الكشيدة)Tatweeltatweel (kashida)خط المدّ (ـ) الذي يطيل الحروف العربية لأغراض التنسيق، كما في تجـــاهل. لا ضرر منه في التصميم، ويُستخدم أيضًا لتقطيع الكلمة.
العربيزيArabiziarabiziالعربية المكتوبة بحروف لاتينية وأرقام، مثل «7abibi» أو «3arabi»، وهي شائعة في المحادثات في المنطقة.
التوحيد (التطبيع)Normalisation (folding)normalisationردّ النص إلى صيغة واحدة قبل المطابقة: إزالة التشكيل والتطويل، وتوحيد الحروف المتشابهة، وفكّ الترميزات البسيطة.
البيانات الشخصيةPersonal datadonnées personnellesمعلومات تحدد هوية شخص: الهوية الإماراتية، رقم جواز السفر، رقم IBAN، رقم الهاتف، اسم مع عنوان.
الإخفاء (التقنيع)Maskingmasquageاستبدال البيانات الحساسة برمز مثل [EMIRATES_ID_1] حتى لا يرى النموذج القيمة أبدًا؛ ويمكن لأنظمة المؤسسة استعادتها.
مصنِّفClassifierclassifieurنموذج يصنّف النص في فئات ويعيد درجات، دون أن يولّد أي نص.
درجةScorescoreرقم، يكون عادة من 0 إلى 1، يبيّن احتمال انتماء الرسالة إلى فئة ما، مثل «هجوم».
العتبةThresholdseuilالدرجة التي يُتخذ عندها إجراء. تُختار على مجموعة تحقق منفصلة، قبل الاختبار.
حجب خاطئFalse blockfaux blocageرسالة سليمة أوقفها حاجز الحماية خطأً، وتُسمى أيضًا إيجابية كاذبة. حجب خاطئ أقل يعني مستخدمين أكثر رضا.
هجوم فائتMissed attackattaque manquéeهجوم سمح به حاجز الحماية، ويُسمى أيضًا سلبية كاذبة.
نطاق الثقةConfidence rangeintervalle de confianceالمدى الذي يُرجَّح أن يقع فيه المعدّل المقيس، بحسب عدد الرسائل المختبرة. الاختبار الصغير يعطي مدى واسعًا.
مجموعة اختبار عامةPublic test setjeu de test publicمجموعة منشورة من الرسائل ذات الأجوبة المعروفة، تُستخدم لمقارنة حواجز الحماية بطريقة يستطيع أي أحد إعادتها.
مجموعة محجوزة للاختبارHeld-out setjeu de test réservéرسائل اختبار تُحفظ جانبًا ولا تُستخدم أبدًا في التدريب أو الضبط، حتى تعكس النتائج رسائل لم يرها النموذج.
الفريق الأحمرRed teamred team (équipe rouge)أشخاص أو أدوات تهاجم النظام عمدًا وبإذن، لتجد نقاط ضعفه قبل غيرها.
هجوم متعدد الأدوارMulti-turn attackattaque en plusieurs toursهجوم موزّع على عدة رسائل، كل منها بريئة وحدها، يتصاعد أو يُعاد تجميعه لاحقًا.
وضع المراقبة فقطWatch-only modemode observationوضع تجريبي يسجّل فيه حاجز الحماية ما كان سيفعله دون أن يحجب شيئًا، لضبط السياسات على الحركة الحقيقية.
السياسةPolicypolitiqueقواعد تطبيق واحد: أي الفحوص مفعّلة، وأي إجراء (السماح، الإخفاء، التنبيه، طلب إعادة الصياغة، الحجب) يُطبَّق على ماذا.
السياسة كشيفرةPolicy as codepolitique en tant que codeحفظ السياسات كملفات بإصدارات، فيُراجَع كل تغيير ويُختبر قبل النشر ويمكن التراجع عنه.
سجل التدقيقAudit logjournal d’auditسجل لكل قرار وكل تغيير: ما الذي حدث، وتحت أي إصدار من السياسة، ومن غيّر ماذا ولماذا.
وكيل ذكاء اصطناعيAgentagentنظام ذكاء اصطناعي يتخذ إجراءات نيابة عن أحد، مثل استدعاء الأدوات أو تصفح الويب أو إرسال الرسائل.

ثلاثة فروق جديرة بالتذكر

  • حقن الأوامر يستولي على التطبيق؛ وكسر القيود يُسقط سلوك السلامة في النموذج؛ والمحتوى الضار طلب صريح مخالف للسياسة.
  • الحجب الخاطئ يكلّفك ثقة المستخدم؛ والهجوم الفائت يكلّفك الأمان. وحاجز الحماية الجيد يُقاس على الاثنين.
  • طيّ النص (إزالة التشكيل والتطويل) للتعرف على الكلمات، لا للحكم على الناس: فالعربية المشكولة عربية طبيعية.

أهم النقاط

  • حقن الأوامر وكسر القيود والمحتوى الضار ثلاث مشكلات مختلفة بفحوص مختلفة.
  • التشكيل والتطويل والعربيزي طرق طبيعية لكتابة العربية، وعلى حاجز الحماية أن يقرأها لا أن يخشاها.
  • الحجب الخاطئ والهجوم الفائت هما الخطآن اللذان يُقاس عليهما كل حاجز حماية.
  • تُحدَّد العتبة قبل الاختبار، ويأتي كل معدّل مع نطاق ثقته.

اختبر نفسك

  1. 1. ما العربيزي؟

    • نوع من الهجمات
    • العربية المكتوبة بحروف لاتينية وأرقام — صحيح.
    • خط عربي
    • مجموعة اختبار

    مثل «3arabi» لكلمة عربي: كتابة شائعة وطبيعية يجب أن يفهمها حاجز الحماية.

  2. 2. ما الحجب الخاطئ؟

    • هجوم ينفذ
    • رسالة سليمة أُوقفت خطأً — صحيح.
    • عنوان IP محجوب
    • جواب بطيء

    ويُسمى أيضًا إيجابية كاذبة؛ وهو جانب الكلفة في حاجز الحماية.

  3. 3. ماذا يفعل وضع المراقبة فقط؟

    • يحجب كل شيء
    • يسجّل ما كان حاجز الحماية سيفعله دون أن يحجب — صحيح.
    • يطفئ حاجز الحماية ويحذف السجلات
    • يعرض إعلانات

    يتيح للفريق ضبط السياسات على الحركة الحقيقية قبل تطبيقها.

المصادر

طبّق ذلك على جهاز Mac الخاص بك

جرّب كل الميزات مجانًا لمدة 17 يومًا، دون بطاقة.

تنزيل لجهاز Mac التوثيق