Integration · Verfügbar

Guardrino mit LiteLLM

Decken Sie jedes Modell hinter LiteLLM mit einem Satz Prüfungen ab, in LiteLLM oder davor.

Status: Verfügbar. Diese Integration ist gebaut und getestet. HisnLabs liefert Guardrino an Pilotunternehmen; einzelne Einstellungen können sich vor der allgemeinen Veröffentlichung noch ändern.

Developer reference · Install guide · AI platforms · Open model card · OpenAI-kompatibler Proxy · Streaming · MCP-Sicherheitsproxy · Anleitung: OpenAI-kompatible App · Anleitung: LiteLLM · Anleitung: MCP-Tools

Try it today Guardrino-t7 Open, an earlier version of our classifier, is public on Hugging Face under Apache-2.0. The demo runs in your browser: what you type stays on your device. Live demo · Model card · Same demo on Hugging Face

Zwei Wege

Als benutzerdefinierter LiteLLM-Guardrail. Das Guardrino-Plugin läuft in LiteLLM, vor dem Aufruf (pre_call) und danach (post_call).
Vor LiteLLM. Apps rufen den OpenAI-kompatiblen Proxy von Guardrino auf, und LiteLLM ist sein Upstream.

Als benutzerdefinierter Guardrail

Das Plugin ist eine einzelne Python-Datei, guardrino_guardrail.py, aus dem Guardrino-Paket. Legen Sie sie neben die config.yaml von LiteLLM. Jede Einstellung (api_base, tenant, app, fail_open, timeout) kann auch aus der Umgebung kommen: GUARDRINO_URL, GUARDRINO_TENANT, GUARDRINO_APP, GUARDRINO_FAIL_OPEN, GUARDRINO_TIMEOUT.

Verwenden Sie einen Eintrag für pre_call und einen für post_call. Eine blockierte Nachricht liefert HTTP 400. Ist Guardrino nicht erreichbar, werden Aufrufe standardmäßig durchgelassen (fail_open: true) oder mit HTTP 503 abgelehnt. post_call deckt gestreamte Antworten nicht ab: Dafür nutzen Sie den Proxy (unten).

pip install "litellm[proxy]" httpx
# put guardrino_guardrail.py (from the Guardrino package) next to config.yaml, then:
litellm --config config.yaml

Deklarieren Sie es dann unter guardrails: in der config.yaml von LiteLLM.

guardrails:
  - guardrail_name: guardrino-input
    litellm_params:
      guardrail: guardrino_guardrail.GuardrinoGuardrail
      mode: pre_call
      default_on: true
      api_base: os.environ/GUARDRINO_URL
      tenant: acme
      app: support-bot
      fail_open: true
  - guardrail_name: guardrino-output
    litellm_params:
      guardrail: guardrino_guardrail.GuardrinoGuardrail
      mode: post_call
      default_on: true
      api_base: os.environ/GUARDRINO_URL
      tenant: acme
      app: support-bot
      fail_open: true

Jedes Modell, auf das LiteLLM routet, durchläuft dieselben Prüfungen, weil der Guardrail auf dem gemeinsamen Pfad sitzt.

Mit LiteLLM als Upstream

Hier prüft und leitet Guardrino weiter, LiteLLM routet. Apps ändern nur ihre Basis-URL, auf Guardrino.

[proxy]
upstream = "http://litellm.internal:4000/v1"   # LiteLLM is Guardrino's upstream
api_key = "LITELLM_KEY"                        # optional

Der OpenAI-kompatible Proxy

Frühzugang anfragen