Anleitung · Verfügbar

Guardrino zu LiteLLM hinzufügen

Ein Plugin, ein Konfigurationseintrag, und jedes Modell hinter LiteLLM wird vor und nach dem Aufruf geprüft.

Status: Verfügbar. Diese Integration ist gebaut und getestet. Pilotunternehmen erhalten das Guardrino-Paket von HisnLabs.

Developer reference · Install guide · AI platforms · Open model card · OpenAI-kompatibler Proxy · Streaming · LiteLLM · MCP-Sicherheitsproxy · Anleitung: OpenAI-kompatible App · Anleitung: MCP-Tools

Try it today Guardrino-t7 Open, an earlier version of our classifier, is public on Hugging Face under Apache-2.0. The demo runs in your browser: what you type stays on your device. Live demo · Model card · Same demo on Hugging Face

Schritt 1 · Plugin installieren

Das Plugin ist eine einzelne Python-Datei, guardrino_guardrail.py, aus dem Guardrino-Paket. Installieren Sie die Proxy-Extras von LiteLLM, legen Sie die Datei neben Ihre config.yaml und starten Sie LiteLLM.

pip install "litellm[proxy]" httpx
# put guardrino_guardrail.py (from the Guardrino package) next to config.yaml, then:
litellm --config config.yaml

Schritt 2 · Guardrail deklarieren

Fügen Sie in der config.yaml von LiteLLM unter guardrails: einen Eintrag hinzu. Er läuft vor dem Aufruf und danach.

guardrails:
  - guardrail_name: guardrino-input
    litellm_params:
      guardrail: guardrino_guardrail.GuardrinoGuardrail
      mode: pre_call
      default_on: true
      api_base: os.environ/GUARDRINO_URL
      tenant: acme
      app: support-bot
      fail_open: true
  - guardrail_name: guardrino-output
    litellm_params:
      guardrail: guardrino_guardrail.GuardrinoGuardrail
      mode: post_call
      default_on: true
      api_base: os.environ/GUARDRINO_URL
      tenant: acme
      app: support-bot
      fail_open: true

Verwenden Sie einen Eintrag für pre_call (die Anfrage) und einen für post_call (die Antwort). Eine blockierte Nachricht liefert HTTP 400. post_call deckt gestreamte Antworten nicht ab: Nutzen Sie dafür stattdessen den Proxy.

Schritt 3 · Neu starten und testen

Starten Sie LiteLLM wie gewohnt neu und senden Sie dann eine normale Anfrage und eine, die Ihre Richtlinie ablehnt, über ein beliebiges konfiguriertes Modell.

Sie möchten keinen Code in LiteLLM ausführen? Setzen Sie stattdessen den Proxy von Guardrino davor, mit LiteLLM als Upstream.

[proxy]
upstream = "http://litellm.internal:4000/v1"   # LiteLLM is Guardrino's upstream
api_key = "LITELLM_KEY"                        # optional

Frühzugang anfragen