بحث · العربية جنبًا إلى جنب
مقارنة حواجز أمان النماذج اللغوية للعربية: Guardrino مقابل أدوات الحماية الإنجليزية على العربية ولهجاتها والعربيزي
شغّلنا Guardrino ومصنّفات أخرى لرصد هجمات الأوامر على الرسائل نفسها: أدوات حماية معروفة بُنيت للإنجليزية، وأدوات بنتها فرق أخرى للعربية. تعرض هذه الصفحة كل الأعداد، وكيف أُجري الاختبار، وما لا يستطيع أن يخبرك به، وملف البيانات الذي بُنيت عليه.
Guardrino قيد التطوير ويُقدَّم عبر برامج تجريبية للمراقبة فقط. هذه نتائج إصدار واحد من النموذج على مجموعة اختبارنا، وليست وعدًا بما سيحدث على حركة بياناتك: البرنامج التجريبي يقيس الأمور نفسها على رسائلك أنت.
النتائج
تعطي كل خانة العدد والنسبة التي يمثّلها، محسوبةً من الأعداد عند عرض الصفحة.
العربية، جنبًا إلى جنب
مبنيّ للعربية. في اختباراتنا الخاصة، رصد Guardrino قرابة 9 من كل 10 هجمات عربية، بينما لم ترصد أشهر أدوات الحماية الإنجليزية إلا نحو 1 من كل 7.
| النموذج | الهجمات العربية المرصودة (من 7,874) | هجمات العربيزي المرصودة (من 1,523) | رسائل آمنة حُجبت (من 31,348) |
|---|---|---|---|
| Guardrino-t7 v7 | 6,814 من 7,874 (86.5%) | 1,319 من 1,523 (87%) | 804 من 31,348 (2.6%) |
| Guardrino-t7 v7، مضبوطًا على معدّل الحجب الخاطئ لدى ArabGuard النموذج نفسه بعتبة أشدّ، فلا يحجب من الرسائل الآمنة أكثر مما يحجبه ArabGuard. | 6,520 من 7,874 (82.8%) | 1,214 من 1,523 (80%) | 519 من 31,348 (1.7%) |
| Ara-Prompt-Guard V1 (NAMAA, Arabic) مبنيّ للعربية من فريق آخر، وقيس بالطريقة نفسها. | 2,033 من 7,874 (25.8%) | 99 من 1,523 (7%) | 615 من 31,348 (2.0%) |
| ArabGuard (Egyptian) مبنيّ للعربية من فريق آخر، وقيس بالطريقة نفسها. | 1,553 من 7,874 (19.7%) | 2 من 1,523 (0%) | 519 من 31,348 (1.7%) |
| HARIS مبنيّ للعربية من فريق آخر، وقيس بالطريقة نفسها. | 561 من 7,874 (7.1%) | 0 من 1,523 (0%) | 459 من 31,348 (1.5%) |
| Prompt Guard 2 (Meta) | 1,128 من 7,874 (14.3%) | 73 من 1,523 (5%) | 882 من 31,348 (2.8%) |
| Protect AI v2 | 894 من 7,874 (11.4%) | 95 من 1,523 (6%) | 589 من 31,348 (1.9%) |
المنهجية: مجموعة اختبار خاصة بـ HisnLabs تضم 13,249 هجومًا و31,348 رسالة آمنة، معظمها بالعربية. وهذا يميل لصالح نموذج دُرّب على بيانات مشابهة مثل نموذجنا، لذا فهذا ليس اختبارًا مستقلًا. ضُبطت عتبة كل نموذج بحيث يحجب رسالة آمنة واحدة من كل 100 على عيّنة تحقّق. تاريخ الاختبار: 26–27 أكتوبر 2026. صُمّمت النماذج الخارجية للإنجليزية، أو للهجة واحدة، أو للعربية الفصحى أساسًا، وهذا ليس انتقادًا لها. قد يكون أحد المصادر العامة في مجموعة الاختبار (arabic-guardrail، 2,271 هجومًا) ضمن بيانات تدريب نماذج أخرى، وكان جزء التدريب منه ضمن بيانات نموذجنا؛ ومن دونه يرصد Guardrino-t7 عدد 4,596 من أصل 5,603 هجمة عربية (82%).
كيف اختبرنا
مجموعة الاختبار خاصة بـ HisnLabs (اسمها في ملف البيانات «cells»): 13,249 هجومًا و31,348 رسالة آمنة، معظمها بالعربية، مع العربيزي وبعض الإنجليزية. مرّت الرسائل نفسها على كل النماذج. تاريخ الاختبار: 26–27 أكتوبر 2026.
الهجمات العربية المرصودة وهجمات العربيزي المرصودة: عدد الهجمات المكتوبة بالحروف العربية، وبالعربيزي (العربية بحروف لاتينية وأرقام)، التي رصدها النموذج، والأعلى أفضل. رسائل آمنة حُجبت: عدد الرسائل غير الضارة التي حجبها خطأً، والأقل أفضل. اقرأ العمودين معًا: قد ترصد أداةٌ هجماتٍ أكثر لمجرد أنها تحجب رسائل أكثر.
العتبات: يعطي المصنّف كل رسالة درجة، وتحوّل العتبةُ هذه الدرجة إلى حجب أو سماح. والمقارنة بالعتبات الافتراضية تقارن في الغالب مدى تشدّد كل نموذج، لذلك ضُبطت عتبة كل نموذج على عيّنة تحقّق منفصلة بحيث يحجب نحو رسالة آمنة واحدة من كل 100، ثم طُبّقت كما هي على مجموعة الاختبار. عتبة كل صف موجودة في ملف البيانات.
Guardrino حسب اللهجة
تحمل معظم الهجمات العربية في المجموعة وسم لهجة. هذا صفّنا مقسّمًا حسب اللهجة (أعداد اللهجات للنماذج الأخرى في ملف البيانات):
| اللهجة | الهجمات العربية في المجموعة | رصدها Guardrino |
|---|---|---|
| الخليجية | 1,918 | 1,642 من 1,918 (85.6%) |
| المصرية | 1,834 | 1,573 من 1,834 (85.8%) |
| الشامية | 559 | 540 من 559 (96.6%) |
| المغاربية | 654 | 624 من 654 (95.4%) |
| العربية الفصحى | 2,526 | 2,102 من 2,526 (83.2%) |
383 هجومًا عربيًا بلا وسم لهجة، وتُحسب في عمود العربية فقط.
لماذا يظهر Guardrino في صفّين
الصف الثاني هو Guardrino-t7 v7 بعتبة أشدّ (0.9818)، اختيرت بحيث لا يحجب من الرسائل الآمنة أكثر مما يحجبه ArabGuard: 519 من أصل 31,348، مقابل 519 لدى ArabGuard. قارنه بـ ArabGuard: حين يتساوى الحجب الخاطئ، لا يكون الفرق في الهجمات المرصودة ثمنًا لحجب رسائل آمنة أكثر.
مصدر عام قد يتداخل
أحد مصادر البيانات العامة في مجموعة الاختبار، arabic-guardrail، يضم 2,271 هجومًا منها. ويضم أيضًا 2,216 رسالة آمنة. قد يكون ضمن بيانات تدريب نماذج أخرى، وكان جزء التدريب منه ضمن بيانات تدريب نموذجنا، فقد يحسّن نتائج أيٍّ منها. ومن دونه يرصد Guardrino عدد 4,596 من أصل 5,603 هجمة عربية (82%).
الجدول من دون ذلك المصدر
الصفوف نفسها بعد إخراج arabic-guardrail من مجموعة الاختبار، هجماته ورسائله الآمنة معًا. لا تظهر إلا الصفوف التي تتضمّن بياناتها هذا التقسيم.
| النموذج | الهجمات العربية المرصودة (من 5,603) | هجمات العربيزي المرصودة (من 1,037) | رسائل آمنة حُجبت (من 29,132) |
|---|---|---|---|
| Guardrino-t7 v7 | 4,596 من 5,603 (82.0%) | 844 من 1,037 (81%) | 744 من 29,132 (2.6%) |
| Ara-Prompt-Guard V1 (NAMAA, Arabic) | 1,568 من 5,603 (28.0%) | 97 من 1,037 (9%) | 612 من 29,132 (2.1%) |
| ArabGuard (Egyptian) | 1,208 من 5,603 (21.6%) | 2 من 1,037 (0%) | 516 من 29,132 (1.8%) |
| HARIS | 339 من 5,603 (6.1%) | 0 من 1,037 (0%) | 429 من 29,132 (1.5%) |
ما لا تستطيع هذه المقارنة أن تخبرك به
- إنه اختبارنا نحن، لا اختبار مستقل. مجموعة الاختبار عربية في معظمها وقريبة من البيانات التي دُرّب عليها Guardrino، وهذا يميل لصالح نموذجنا. ننشر الأعداد ليتمكّن غيرنا من التحقق منها، ونرحّب باختبار مستقل.
- قد يتداخل مصدر عام مع بيانات التدريب، لدينا ولدى فرق أخرى (انظر أعلاه)، ولهذا نعرض الجدول من دونه.
- كل الأعداد مرتبطة بقاعدة العتبة. مع حدّ مختلف للحجب الخاطئ تتغيّر كل الصفوف، وقد يتغيّر ترتيب الصفوف المتقاربة أيضًا.
- بعض مجموعات اللهجات صغيرة: 559 هجومًا بالشامية و654 بالمغاربية. بضع عشرات من الرسائل تحرّك نتائجها بوضوح، فاقرأها مؤشرًا تقريبيًا.
- بُنيت النماذج الخارجية للإنجليزية، أو للهجة واحدة، أو للعربية الفصحى أساسًا. يبيّن الجدول ما يحدث حين تقابل نصًا لم تُبنَ له، وليس حكمًا على تلك النماذج.
- يقيس إصدارًا واحدًا، Guardrino-t7 v7، اختُبر بتاريخ 27 أكتوبر 2026. Guardrino قيد التطوير: تُقاس الإصدارات اللاحقة من جديد، وقد تختلف حركة بياناتك. والبرنامج التجريبي للمراقبة فقط يقيسه على رسائلك.
البيانات
يحتوي الملف الذي بُنيت عليه هذه الصفحة على أعداد فقط، لا نسب: لكل نموذج، الهجمات التي رصدها والرسائل الآمنة التي حجبها في كل عمود، وعتبته، والأعداد حسب اللهجة، والأعداد من دون المصدر المتداخل. تحسب الصفحة كل نسبة منه عند العرض.
الحقول الأساسية: rows (صف لكل نموذج، وكل عدد بصيغة [المرصود، من أصل]؛ الصفوف الموسومة hidden تبقى في الملف ولا تظهر هنا)، وcolumns، وmax_fpr (نسبة الرسائل الآمنة التي ضُبطت كل عتبة لتحجبها)، وdate_from وdate، وoverlap.