Tutoriel · Disponible

Ajouter Guardrino à LiteLLM

Un plug-in, une entrée de configuration, et chaque modèle derrière LiteLLM est vérifié avant et après l’appel.

Statut : disponible. Cette intégration est construite et testée. Les entreprises du programme pilote reçoivent le paquet Guardrino de HisnLabs.

Référence développeur · Guide d’installation · Plateformes d’IA · Fiche du modèle ouvert · Proxy compatible OpenAI · Streaming · LiteLLM · Proxy de sécurité MCP · Tutoriel : application compatible OpenAI · Tutoriel : outils MCP

Essayez-le dès aujourd’hui Guardrino-t7 Open, une version antérieure de notre classifieur, est publique sur Hugging Face sous licence Apache-2.0. La démo fonctionne dans votre navigateur : ce que vous tapez reste sur votre appareil. Démo en direct · Fiche du modèle · La même démo sur Hugging Face

Étape 1 · Installer le plug-in

Le plug-in est un seul fichier Python, guardrino_guardrail.py, fourni dans le paquet Guardrino. Installez les extras proxy de LiteLLM, placez le fichier à côté de votre config.yaml, puis démarrez LiteLLM.

pip install "litellm[proxy]" httpx
# put guardrino_guardrail.py (from the Guardrino package) next to config.yaml, then:
litellm --config config.yaml

Étape 2 · Déclarer le garde-fou

Ajoutez une entrée sous guardrails: dans le config.yaml de LiteLLM. Elle s’exécute avant l’appel et après.

guardrails:
  - guardrail_name: guardrino-input
    litellm_params:
      guardrail: guardrino_guardrail.GuardrinoGuardrail
      mode: pre_call
      default_on: true
      api_base: os.environ/GUARDRINO_URL
      tenant: acme
      app: support-bot
      fail_open: true
  - guardrail_name: guardrino-output
    litellm_params:
      guardrail: guardrino_guardrail.GuardrinoGuardrail
      mode: post_call
      default_on: true
      api_base: os.environ/GUARDRINO_URL
      tenant: acme
      app: support-bot
      fail_open: true

Utilisez une entrée pour pre_call (la requête) et une pour post_call (la réponse). Un message refusé renvoie HTTP 400. post_call ne couvre pas les réponses en streaming : pour celles-ci, utilisez plutôt le proxy.

Étape 3 · Redémarrer et tester

Redémarrez LiteLLM comme d’habitude, puis envoyez une requête normale et une que votre politique refuse, avec n’importe quel modèle configuré.

Vous préférez ne pas exécuter de code dans LiteLLM ? Placez plutôt le proxy de Guardrino devant, avec LiteLLM pour amont.

[proxy]
upstream = "http://litellm.internal:4000/v1"   # LiteLLM is Guardrino's upstream
api_key = "LITELLM_KEY"                        # optional

Demander un accès anticipé