Anleitung · Verfügbar

Guardrino vor Ihre OpenAI-kompatible App setzen

Drei Schritte, und an Ihrer App ändert sich nur eine URL.

Status: Verfügbar. Diese Integration ist gebaut und getestet. Pilotunternehmen erhalten das Guardrino-Paket von HisnLabs.

Developer reference · Install guide · AI platforms · Open model card · OpenAI-kompatibler Proxy · Streaming · LiteLLM · MCP-Sicherheitsproxy · Anleitung: LiteLLM · Anleitung: MCP-Tools

Try it today Guardrino-t7 Open, an earlier version of our classifier, is public on Hugging Face under Apache-2.0. The demo runs in your browser: what you type stays on your device. Live demo · Model card · Same demo on Hugging Face

Schritt 1 · Upstream festlegen

Guardrino muss zuvor installiert sein (siehe Installationsanleitung). Ergänzen Sie in der Richtliniendatei einen Abschnitt [proxy], der die Modell-API nennt, die Ihre App heute nutzt.

block_status = 403            # answer a refused message with HTTP 403 (default 400)

[proxy]
upstream = "https://llm.example/v1"   # the model API Guardrino forwards to
api_key = "UPSTREAM_KEY"              # optional: when unset, the caller's key is passed through
buffer_output = false                 # true: hold the reply until it has been checked

Lassen Sie api_key weg, wenn Ihre App weiter ihren eigenen Schlüssel senden soll: Guardrino reicht ihn durch.

Schritt 2 · Basis-URL ändern

Ersetzen Sie in Ihrer App die Basis-URL des Modellanbieters durch die von Guardrino. Sonst ändert sich nichts.

from openai import OpenAI

# The only change: the base URL (and the key your Guardrino deployment expects).
client = OpenAI(base_url="https://guardrino.example/v1", api_key="YOUR_KEY")

reply = client.chat.completions.create(
    model="your-model",
    messages=[{"role": "user", "content": "Summarise this ticket."}],
    user="conversation-7f3a",  # becomes the conversation_id
)

Um Beiträge ohne Codeänderung zu verknüpfen, senden Sie bei jedem Beitrag einer Unterhaltung denselben user-Wert oder den Header X-Guardrino-Conversation.

Schritt 3 · Prüfen, ob es funktioniert

Senden Sie eine normale Nachricht und danach eine, die Ihre Richtlinie ablehnt. Die erste liefert die Antwort des Modells, die zweite einen Fehler im OpenAI-Fehlerformat.

curl https://guardrino.example/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -H "X-Guardrino-Conversation: conversation-7f3a" \
  -d '{"model": "your-model", "messages": [{"role": "user", "content": "Hello"}]}'

Streamt Ihre App Antworten, lesen Sie die Streaming-Seite, um zwischen Live-Stücken und buffer_output = true zu wählen.

Frühzugang anfragen