Gestreamte Antworten

So funktioniert es

Mit "stream": true sendet das Modell seine Antwort in Stücken als Server-Sent Events (SSE). Guardrino liest den Text, während er sich ansammelt, und wendet die Ausgabeprüfungen darauf an.

curl -N https://guardrino.example/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "your-model", "stream": true, "messages": [{"role": "user", "content": "Hello"}]}'

Bei einem Verstoß endet der Stream mit einem Fehler-Ereignis. Stücke, die der Client bereits erhalten hat, lassen sich nicht zurückrufen.

data: {"choices":[{"delta":{"content":"The account number is "}}]}

data: {"error":{"message":"The request was blocked by Guardrino policy.","type":"guardrino_blocked","param":null,"code":"content_blocked","request_id":"req-42"}}

# the stream ends here: no "data: [DONE]" follows

Antwort bis zur Prüfung zurückhalten

Soll nichts die Nutzer erreichen, bevor es geprüft wurde, setzen Sie buffer_output = true. Guardrino hält die Antwort dann zurück, prüft sie vollständig und sendet sie nur, wenn sie besteht. Der Preis: Die Nutzer sehen nichts, bis das Modell fertig ist.

[proxy]
upstream = "https://llm.example/v1"
buffer_output = true       # nothing is sent until the whole reply has been checked
stream_check_chars = 256   # when false: check the reply every 256 new characters, and once more before [DONE]

Die Wahl trifft jedes Deployment selbst: das Live-Gefühl des Streamings oder die Garantie, dass eine abgelehnte Antwort nie angezeigt wird.