Руководство · Доступно

Добавьте Guardrino в LiteLLM

Один плагин, одна запись в конфигурации, и каждая модель за LiteLLM проверяется до вызова и после него.

Статус: доступно. Эта интеграция создана и протестирована. Компании-участники пилота получают пакет Guardrino от HisnLabs.

Developer reference · Install guide · AI platforms · Open model card · Прокси, совместимый с OpenAI · Потоковая передача · LiteLLM · Прокси безопасности MCP · Руководство: приложение, совместимое с OpenAI · Руководство: инструменты MCP

Try it today Guardrino-t7 Open, an earlier version of our classifier, is public on Hugging Face under Apache-2.0. The demo runs in your browser: what you type stays on your device. Live demo · Model card · Same demo on Hugging Face

Шаг 1 · Установите плагин

Плагин — один файл Python, guardrino_guardrail.py, из пакета Guardrino. Установите расширения прокси для LiteLLM, положите файл рядом с config.yaml и запустите LiteLLM.

pip install "litellm[proxy]" httpx
# put guardrino_guardrail.py (from the Guardrino package) next to config.yaml, then:
litellm --config config.yaml

Шаг 2 · Объявите guardrail

Добавьте запись в раздел guardrails: файла config.yaml LiteLLM. Она срабатывает до вызова и после него.

guardrails:
  - guardrail_name: guardrino-input
    litellm_params:
      guardrail: guardrino_guardrail.GuardrinoGuardrail
      mode: pre_call
      default_on: true
      api_base: os.environ/GUARDRINO_URL
      tenant: acme
      app: support-bot
      fail_open: true
  - guardrail_name: guardrino-output
    litellm_params:
      guardrail: guardrino_guardrail.GuardrinoGuardrail
      mode: post_call
      default_on: true
      api_base: os.environ/GUARDRINO_URL
      tenant: acme
      app: support-bot
      fail_open: true

Используйте одну запись для pre_call (запрос) и одну для post_call (ответ). Заблокированное сообщение возвращает HTTP 400. post_call не покрывает потоковые ответы: для них используйте прокси.

Шаг 3 · Перезапустите и проверьте

Перезапустите LiteLLM обычным способом, затем отправьте обычный запрос и запрос, который политика отклоняет, к любой настроенной модели.

Не хотите запускать код внутри LiteLLM? Поставьте перед ним прокси Guardrino, а LiteLLM сделайте его вышестоящим сервисом.

[proxy]
upstream = "http://litellm.internal:4000/v1"   # LiteLLM is Guardrino's upstream
api_key = "LITELLM_KEY"                        # optional

Запросить ранний доступ