Guardrino-t7 v7 — модель внутри Guardrino, шлюза безопасности ИИ, который HisnLabs создаёт для арабского языка, его диалектов, арабизи и английского. На нашем собственном тестовом наборе она поймала 86,5 % атак на арабском — 6 814 из 7 874, причём порог у всех моделей подбирался одинаково. На процессоре ноутбука проверка одного сообщения заняла в медиане 14,8 мс.
На тех же сообщениях защитные модели, которые другие команды сделали для арабского, поймали от 7,1 % до 25,8 %, а две известные модели, созданные для английского, — 14,3 % и 11,4 %. Одна модель оказалась такой же быстрой, как наша: HARIS — 14,5 мс против наших 14,8 мс. Это ничья, а не преимущество. Сборка int8 ONNX, на которой работает продукт, уложилась в 6,7 мс.
Почему важен именно арабский: в странах Залива люди пишут в банки, операторам связи и государственные службы на арабском, на диалекте, на арабизи (арабский, набранный латиницей и цифрами) и на английском — часто всё в одном сообщении. Промпт-инъекция, пункт LLM01 во главе списка OWASP для LLM-приложений 2025 года, работает на всех этих языках [10]. Защита, проверенная только на английском, оставляет большую часть такого трафика без контроля, а защиту, которая слишком медленна, чтобы стоять перед каждым сообщением, просто не включают.
В этом отчёте:
Пойманные атаки и время на сообщение
Смотрите на обе оси сразу. Модель может ловить больше, просто блокируя больше, и может быть быстрой, делая меньше. Шлюзу нужно и то и другое: высокая доля пойманных атак при фиксированном бюджете ложных блокировок и время на сообщение, достаточно малое, чтобы стоять перед каждым запросом. HARIS здесь так же быстра, как Guardrino-t7 v7, но ловит 7,1 % этих атак на арабском.
Как Guardrino проверяет сообщение
Guardrino-t7 v7 — один из трёх слоёв. L0 готовит для проверок очищенные копии сообщения: без татвиля (растягивающей черты), огласовок и скрытых символов, а арабизи переводится в арабское письмо. То, что уходит дальше, L0 никогда не меняет. L1 применяет правила: персональные данные жителей стран Залива и секреты, сигнатуры известных атак, ссылки. L2 — модель, которую измеряет этот отчёт. Затем шлюз пропускает сообщение, скрывает то, что не должно уйти, или блокирует его.
Этот отчёт измеряет только L2, сообщение за сообщением, чтобы её можно было сравнить с другими классификаторами. Поверх неё шлюз добавляет остальные слои, память диалога и проверку ответов.
Тестовый набор
Тестовый набор собран HisnLabs: 13 249 атак и 31 348 безопасных сообщений из 63 источников, в основном на арабском. Это тестовая часть данных, на которых построена Guardrino-t7 v7: она отделена от обучения, но взята из тех же источников. Это даёт нашей модели фору, и именно поэтому тест нельзя назвать независимым.
| Язык | Атаки | Безопасные сообщения |
|---|---|---|
| Арабский (арабское письмо) | 7 874 | 27 482 |
| Английский | 5 248 | 3 865 |
| Другие или смешанные | 100 | 1 |
| Французский | 27 | 0 |
| Всего | 13 249 | 31 348 |
| Метка диалекта | Атаки | Безопасные сообщения |
|---|---|---|
| Диалект стран Залива | 1 918 | 13 426 |
| Египетский | 1 834 | 2 642 |
| Левантийский | 559 | 1 367 |
| Магрибский | 654 | 2 930 |
| Литературный арабский | 2 526 | 3 456 |
| Иракский | 9 | 1 361 |
| Суданский | 62 | 182 |
Безопасные сообщения — обычный текст, который получает ассистент в странах Залива: твиты, запросы к голосовому ассистенту, вопросы и переписка, прежде всего на диалекте стран Залива. Так в тест попадает и безобидный текст, который лишь звучит необычно. Отдельно сравнение считает атаки, написанные на арабизи: их 1 523.
| Источник | Атаки | Безопасные сообщения |
|---|---|---|
gulf-tweets | 0 | 7 292 |
arabic-guardrail | 2 271 | 2 216 |
massive-ar-sa | 0 | 3 124 |
aya | 0 | 2 598 |
embedded-v6 | 957 | 957 |
da-mmlu | 0 | 1 892 |
spml | 985 | 815 |
in-the-wild | 630 | 1 049 |
bipia-clean | 0 | 1 439 |
bipia | 1 297 | 0 |
mosscap | 1 154 | 0 |
oasst2 | 0 | 1 016 |
| Ещё 51 источник(ов) | 5 955 | 8 950 |
Об одном источнике нужно предупредить. arabic-guardrail даёт тестовому набору 2 271 атак и 2 216 безопасных сообщений. Он публичный, поэтому на нём могли обучаться другие модели, а его обучающая часть входила в наши обучающие данные. Мы приводим результаты с ним и без него (см. Результаты).
Сравниваемые модели
Шесть моделей одного типа: классификатор, который читает одно сообщение и оценивает, насколько вероятно, что это атака на промпт. Модели-судьи, оценивающие вредность содержания, в сравнении не участвовали. Сторонние модели скачаны с Hugging Face и запущены в опубликованном виде.
| Модель | Кто опубликовал | Тип | Для чего создана |
|---|---|---|---|
| Guardrino-t7 v7 | HisnLabs | Классификатор атак на промпт | Арабский, его диалекты, арабизи и английский |
| Ara-Prompt-Guard V1 | NAMAA-Space | Классификатор атак на промпт | Арабский |
| ArabGuard | d12o6aa | Классификатор атак на промпт | Египетский арабский |
| HARIS | ZKLogic | Классификатор атак на промпт | Арабский |
| Prompt Guard 2 | meta-llama | Классификатор атак на промпт | Английский |
| Protect AI v2 | protectai | Классификатор атак на промпт | Английский |
Результаты и метод
| Модель | Пойманные атаки на арабском | Заблокированные безопасные сообщения | Медиана времени | Время p95 |
|---|---|---|---|---|
| Guardrino-t7 v7 | 86,5 % (6 814 из 7 874) | 2,6 % | 14,8 мс | 30,9 мс |
| Guardrino-t7 v7 при доле ложных блокировок ArabGuard | 82,8 % (6 520 из 7 874) | 1,7 % | та же модель | та же модель |
| Guardrino-t7 v7, int8 ONNX (сборка продукта) | не измерялось заново | не измерялось заново | 6,7 мс | 23,2 мс |
| Ara-Prompt-Guard V1 | 25,8 % (2 033 из 7 874) | 2,0 % | 66,5 мс | 152,5 мс |
| ArabGuard | 19,7 % (1 553 из 7 874) | 1,7 % | 32,4 мс | 51,0 мс |
| HARIS | 7,1 % (561 из 7 874) | 1,5 % | 14,5 мс | 28,1 мс |
| Prompt Guard 2 | 14,3 % (1 128 из 7 874) | 2,8 % | 61,9 мс | 110,9 мс |
| Protect AI v2 | 11,4 % (894 из 7 874) | 1,9 % | 65,8 мс | 114,9 мс |
Ложных блокировок у нас больше, чем у большинства. Каждый порог подбирался так, чтобы на проверочной выборке блокировать 1 безопасное сообщение из 100, но на тестовом наборе Guardrino-t7 v7 заблокировала 2,6 % безопасных сообщений — 804 из 31 348. Поэтому мы приводим её и при более строгом пороге, при котором она блокирует не больше безопасных сообщений, чем ArabGuard: 519 из 31 348. При нём она по-прежнему ловит 82,8 % атак на арабском против 19,7 % у ArabGuard.
Скорость: Guardrino-t7 v7 тратила в медиане 14,8 мс на сообщение, 30,9 мс на 95-м процентиле. HARIS — 14,5 мс: у двух моделей ничья. Остальным понадобилось от 32,4 мс до 66,5 мс.
Продукт работает на сборке int8 ONNX той же модели [9]; её медиана — 6,7 мс (23,2 мс на p95). Долю пойманных атак для неё на этом наборе заново не измеряли. Вместо этого мы проверили другое: на 1 000 строках сборка int8 выносит тот же вердикт, что и полноточная модель, в 98,7 % случаев.
По диалектам
| Диалект | Атак на арабском в наборе | Поймано Guardrino-t7 v7 |
|---|---|---|
| Диалект стран Залива | 1 918 | 86 % (1 642 из 1 918) |
| Египетский | 1 834 | 86 % (1 573 из 1 834) |
| Левантийский | 559 | 97 % (540 из 559) |
| Магрибский | 654 | 95 % (624 из 654) |
| Литературный арабский | 2 526 | 83 % (2 102 из 2 526) |
Атаки на диалекте стран Залива и на египетском ловятся примерно одинаково, а литературный арабский — самый низкий из пяти. Наборы на левантийском и магрибском невелики — 559 и 654 атак, — поэтому несколько десятков сообщений заметно сдвигают эти строки: считайте их приблизительным ориентиром.
Как мы измеряли
- Одни и те же сообщения для всех моделей: указанные выше 13 249 атак и 31 348 безопасных сообщений, тесты с 2026-10-26 по 2026-10-27.
- Одно правило порога для всех моделей: классификатор выдаёт оценку, а порог превращает её в «блокировать» или «пропустить». Порог каждой модели подбирался на отдельной проверочной выборке так, чтобы блокировать 1 безопасное сообщение из 100, и затем без изменений применялся к тестовому набору. Сравнение порогов по умолчанию в основном сравнивало бы строгость моделей.
- Одна машина для всех моделей: Apple MacBook Pro с Apple M1 Max, процессор, 4 потока, по одному сообщению (пакет 1), 300 сообщений на арабском, от коротких до длинных, после 50 прогревочных, 2026-10-27. Время включает токенизацию, работу модели и расчёт оценки.
- Параллельно на машине шло обучение, поэтому абсолютное время выше, чем на свободной машине; все модели работали под одинаковой нагрузкой, одна за другой, а затем ещё раз в обратном порядке. Медианы между двумя проходами сдвинулись не более чем на 2,0 мс.
- Без пересекающегося источника, arabic-guardrail, Guardrino-t7 v7 ловит 4 596 из 5 603 атак на арабском (82 %).
- Все исходные числа есть в файле данных, так что любую долю можно пересчитать самостоятельно.
Ограничения
- Это наш собственный тест, а не независимый. Тестовый набор в основном арабский и близок к данным, на которых обучалась Guardrino, что даёт нашей модели фору. Мы будем рады независимой проверке.
- Ложные блокировки «уплывают». Пороги подбирались под 1 из 100 на проверочной выборке; на тестовом наборе у нас получилось 2,6 %. Это одна из причин, по которым пилот начинается в режиме наблюдения: ложные блокировки можно проверить на вашем собственном безопасном трафике, прежде чем что-либо блокировать.
- Сторонние модели создавались для английского, для одного диалекта или в основном для литературного арабского. Тест показывает, что происходит, когда они встречают текст, для которого не предназначены. Это не оценка самих моделей.
- Один публичный источник может пересекаться с обучающими данными — нашими и других команд; без него наша доля пойманных атак — 82 %.
- Скорость измерена на одном процессоре ноутбука под нагрузкой. Ваше оборудование, длина сообщений и размер пакетов дадут другие цифры.
- Сборку int8 для продукта замерили по времени, но долю пойманных атак для неё заново не измеряли; она совпадает с измеренной моделью на большинстве строк, но не на всех.
- Измерялась одна модель на отдельных сообщениях. Атаки, растянутые на несколько реплик, и остальные слои шлюза в этот тест не входят.
- Guardrino находится в разработке и предлагается через пилоты в режиме наблюдения. Это результаты одной версии модели, а не обещание для вашего трафика.
Что дальше
Сейчас обучается версия 8. В ней появляются головы для оценки безопасности содержания на арабском, чтобы та же модель могла отмечать и вредный контент, а не только попытки манипулировать ассистентом. Результатов у неё пока нет, и гадать о них мы не будем. Её отчёт будет построен по тому же методу, на том же тестовом наборе и той же машине — что бы он ни показал.
Посмотрите данные или проверьте на своём трафике
Запросить пилот: Guardrino работает в режиме наблюдения на ваших сообщениях и сообщает, что сделал бы, ничего не блокируя, пока вы не решите. Посмотреть данные: на странице сравнения — все числа, метод и ограничения, а также файл данных (JSON), на котором она построена.
Подробнее — в трёх руководствах: Защитные барьеры LLM для арабского языка, Защитные барьеры LLM для банков, телекомов и госсектора в странах Персидского залива и Промпт-инъекции на арабском языке. Более ранняя и компактная версия модели открыта на Hugging Face как Guardrino-t7 Open [3], и в её карточке есть это сравнение; v7 HisnLabs оставляет для шлюза.
Какое место здесь занимают Guardrino и HisnLabs
Guardrino — шлюз, который HisnLabs создаёт, чтобы компании стран Залива могли проверять, что их ИИ-ассистенты читают и говорят, на арабском, его диалектах, арабизи и английском. Он в разработке; пилот в режиме наблюдения работает на вашем собственном трафике и ничего не блокирует, пока вы не решите.