Интеграция · Доступно

Guardrino и LiteLLM

Охватите каждую модель за LiteLLM единым набором проверок: внутри LiteLLM или перед ним.

Статус: доступно. Эта интеграция создана и протестирована. HisnLabs передаёт Guardrino компаниям-участникам пилота; некоторые настройки могут измениться до общего выпуска.

Developer reference · Install guide · AI platforms · Open model card · Прокси, совместимый с OpenAI · Потоковая передача · Прокси безопасности MCP · Руководство: приложение, совместимое с OpenAI · Руководство: LiteLLM · Руководство: инструменты MCP

Try it today Guardrino-t7 Open, an earlier version of our classifier, is public on Hugging Face under Apache-2.0. The demo runs in your browser: what you type stays on your device. Live demo · Model card · Same demo on Hugging Face

Два способа

Как пользовательский guardrail LiteLLM. Плагин Guardrino работает внутри LiteLLM, до вызова (pre_call) и после него (post_call).
Перед LiteLLM. Приложения обращаются к прокси Guardrino, совместимому с OpenAI, а LiteLLM служит ему вышестоящим сервисом.

Как пользовательский guardrail

Плагин — один файл Python, guardrino_guardrail.py, из пакета Guardrino. Положите его рядом с config.yaml LiteLLM. Каждую настройку (api_base, tenant, app, fail_open, timeout) можно задать и через окружение: GUARDRINO_URL, GUARDRINO_TENANT, GUARDRINO_APP, GUARDRINO_FAIL_OPEN, GUARDRINO_TIMEOUT.

Используйте одну запись для pre_call и одну для post_call. Заблокированное сообщение возвращает HTTP 400. Если Guardrino недоступен, вызовы по умолчанию пропускаются (fail_open: true) или отклоняются с HTTP 503. post_call не покрывает потоковые ответы: для них используйте прокси (ниже).

pip install "litellm[proxy]" httpx
# put guardrino_guardrail.py (from the Guardrino package) next to config.yaml, then:
litellm --config config.yaml

Затем объявите его в разделе guardrails: файла config.yaml LiteLLM.

guardrails:
  - guardrail_name: guardrino-input
    litellm_params:
      guardrail: guardrino_guardrail.GuardrinoGuardrail
      mode: pre_call
      default_on: true
      api_base: os.environ/GUARDRINO_URL
      tenant: acme
      app: support-bot
      fail_open: true
  - guardrail_name: guardrino-output
    litellm_params:
      guardrail: guardrino_guardrail.GuardrinoGuardrail
      mode: post_call
      default_on: true
      api_base: os.environ/GUARDRINO_URL
      tenant: acme
      app: support-bot
      fail_open: true

Каждая модель, на которую LiteLLM направляет запросы, проходит те же проверки, потому что guardrail стоит на общем пути.

С LiteLLM в роли вышестоящего сервиса

Здесь Guardrino проверяет и передаёт, а LiteLLM маршрутизирует. Приложения меняют только базовый URL, на адрес Guardrino.

[proxy]
upstream = "http://litellm.internal:4000/v1"   # LiteLLM is Guardrino's upstream
api_key = "LITELLM_KEY"                        # optional

Прокси, совместимый с OpenAI

Запросить ранний доступ