أضف جاردرينو إلى LiteLLM

الخطوة 1 · ثبّت الإضافة

الإضافة ملف Python واحد هو guardrino_guardrail.py ضمن حزمة جاردرينو. ثبّت إضافات الوكيل لـ LiteLLM، ثم ضع الملف بجانب config.yaml وشغّل LiteLLM.

pip install "litellm[proxy]" httpx
# put guardrino_guardrail.py (from the Guardrino package) next to config.yaml, then:
litellm --config config.yaml

الخطوة 2 · صرّح بحاجز الحماية

أضف بندًا ضمن guardrails: في ملف config.yaml الخاص بـ LiteLLM. يعمل قبل الاستدعاء وبعده.

guardrails:
  - guardrail_name: guardrino-input
    litellm_params:
      guardrail: guardrino_guardrail.GuardrinoGuardrail
      mode: pre_call
      default_on: true
      api_base: os.environ/GUARDRINO_URL
      tenant: acme
      app: support-bot
      fail_open: true
  - guardrail_name: guardrino-output
    litellm_params:
      guardrail: guardrino_guardrail.GuardrinoGuardrail
      mode: post_call
      default_on: true
      api_base: os.environ/GUARDRINO_URL
      tenant: acme
      app: support-bot
      fail_open: true

استخدم مدخلًا واحدًا لـ pre_call (الطلب) وآخر لـ post_call (الرد). ترجع الرسالة المحظورة بحالة HTTP 400. لا يغطي post_call الردود المبثوثة: لها استخدم الوكيل بدلًا من ذلك.

الخطوة 3 · أعد التشغيل واختبر

أعد تشغيل LiteLLM بالطريقة المعتادة، ثم أرسل طلبًا عاديًا وطلبًا ترفضه سياستك عبر أي نموذج أعددته.

إن كنت لا تريد تشغيل شيفرة داخل LiteLLM، فضع وكيل جاردرينو أمامها بدلًا من ذلك، وتكون LiteLLM واجهته الأمامية.

[proxy]
upstream = "http://litellm.internal:4000/v1"   # LiteLLM is Guardrino's upstream
api_key = "LITELLM_KEY"                        # optional