جاردرينو مع LiteLLM

طريقتان

• حاجز حماية مخصص في LiteLLM. تعمل إضافة جاردرينو داخل LiteLLM قبل الاستدعاء (pre_call) وبعده (post_call).
• أمام LiteLLM. تستدعي التطبيقات وكيل جاردرينو المتوافق مع OpenAI، وتكون LiteLLM واجهته الأمامية.

حاجز حماية مخصص

الإضافة ملف Python واحد هو guardrino_guardrail.py ضمن حزمة جاردرينو. ضعه بجانب ملف config.yaml الخاص بـ LiteLLM. يمكن أيضًا أخذ كل إعداد (api_base وtenant وapp وfail_open وtimeout) من البيئة: GUARDRINO_URL وGUARDRINO_TENANT وGUARDRINO_APP وGUARDRINO_FAIL_OPEN وGUARDRINO_TIMEOUT.

استخدم مدخلًا واحدًا لـ pre_call وآخر لـ post_call. ترجع الرسالة المحظورة بحالة HTTP 400. إذا تعذّر الوصول إلى جاردرينو فالنداءات مسموحة افتراضيًا (fail_open: true) أو تُرفض بحالة HTTP 503. لا يغطي post_call الردود المبثوثة: لها استخدم الوكيل (أدناه).

pip install "litellm[proxy]" httpx
# put guardrino_guardrail.py (from the Guardrino package) next to config.yaml, then:
litellm --config config.yaml

ثم صرّح بها ضمن guardrails: في ملف config.yaml الخاص بـ LiteLLM.

guardrails:
  - guardrail_name: guardrino-input
    litellm_params:
      guardrail: guardrino_guardrail.GuardrinoGuardrail
      mode: pre_call
      default_on: true
      api_base: os.environ/GUARDRINO_URL
      tenant: acme
      app: support-bot
      fail_open: true
  - guardrail_name: guardrino-output
    litellm_params:
      guardrail: guardrino_guardrail.GuardrinoGuardrail
      mode: post_call
      default_on: true
      api_base: os.environ/GUARDRINO_URL
      tenant: acme
      app: support-bot
      fail_open: true

يمرّ كل نموذج توجّه إليه LiteLLM بالفحوص نفسها، لأن حاجز الحماية يقع على المسار المشترك.

مع LiteLLM بوصفها الواجهة الأمامية

هنا يفحص جاردرينو ويمرّر، وتتولى LiteLLM التوجيه. تغيّر التطبيقات عنوانها الأساسي فقط ليشير إلى جاردرينو.

[proxy]
upstream = "http://litellm.internal:4000/v1"   # LiteLLM is Guardrino's upstream
api_key = "LITELLM_KEY"                        # optional

الوكيل المتوافق مع OpenAI