الردود المبثوثة

كيف يعمل

مع "stream": true يرسل النموذج ردّه على أجزاء عبر الأحداث المرسلة من الخادم (SSE). يقرأ جاردرينو النص وهو يتراكم ويطبّق عليه فحوص المخرجات.

curl -N https://guardrino.example/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "your-model", "stream": true, "messages": [{"role": "user", "content": "Hello"}]}'

عند المخالفة ينتهي التدفق بحدث خطأ. أما الأجزاء التي وصلت العميل فعلًا فلا يمكن سحبها.

data: {"choices":[{"delta":{"content":"The account number is "}}]}

data: {"error":{"message":"The request was blocked by Guardrino policy.","type":"guardrino_blocked","param":null,"code":"content_blocked","request_id":"req-42"}}

# the stream ends here: no "data: [DONE]" follows

احتجاز الرد حتى يُفحص

إذا كان يجب ألا يصل إلى المستخدم شيء قبل فحصه، فاضبط buffer_output = true. عندها يحتجز جاردرينو الرد ويفحصه كاملًا ولا يرسله إلا إذا اجتاز الفحص. والثمن أن المستخدم لا يرى شيئًا حتى ينتهي النموذج.

[proxy]
upstream = "https://llm.example/v1"
buffer_output = true       # nothing is sent until the whole reply has been checked
stream_check_chars = 256   # when false: check the reply every 256 new characters, and once more before [DONE]

الاختيار لكل نشر على حدة: إحساس البث المباشر، أو الضمان بأن الرد المرفوض لا يُعرض أبدًا.