Потоковые ответы

Как это работает

При "stream": true модель отправляет ответ частями через server-sent events (SSE). Guardrino читает текст по мере накопления и применяет к нему проверки вывода.

curl -N https://guardrino.example/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "your-model", "stream": true, "messages": [{"role": "user", "content": "Hello"}]}'

При нарушении поток завершается событием ошибки. Фрагменты, которые клиент уже получил, отозвать нельзя.

data: {"choices":[{"delta":{"content":"The account number is "}}]}

data: {"error":{"message":"The request was blocked by Guardrino policy.","type":"guardrino_blocked","param":null,"code":"content_blocked","request_id":"req-42"}}

# the stream ends here: no "data: [DONE]" follows

Удержать ответ до проверки

Если до пользователя ничего не должно дойти непроверенным, задайте buffer_output = true. Тогда Guardrino удерживает ответ, проверяет его целиком и отправляет, только если он прошёл. Цена: пользователь ничего не видит, пока модель не закончит.

[proxy]
upstream = "https://llm.example/v1"
buffer_output = true       # nothing is sent until the whole reply has been checked
stream_check_chars = 256   # when false: check the reply every 256 new characters, and once more before [DONE]

Выбор делается для каждого развёртывания: живое ощущение потока или гарантия, что отклонённый ответ никогда не будет показан.