Intégration · Disponible

Guardrino avec LiteLLM

Couvrez tous les modèles derrière LiteLLM avec un seul jeu de contrôles, dans LiteLLM ou devant lui.

Statut : disponible. Cette intégration est construite et testée. HisnLabs livre Guardrino aux entreprises du programme pilote ; certains réglages peuvent encore changer avant la diffusion générale.

Référence développeur · Guide d’installation · Plateformes d’IA · Fiche du modèle ouvert · Proxy compatible OpenAI · Streaming · Proxy de sécurité MCP · Tutoriel : application compatible OpenAI · Tutoriel : LiteLLM · Tutoriel : outils MCP

Essayez-le dès aujourd’hui Guardrino-t7 Open, une version antérieure de notre classifieur, est publique sur Hugging Face sous licence Apache-2.0. La démo fonctionne dans votre navigateur : ce que vous tapez reste sur votre appareil. Démo en direct · Fiche du modèle · La même démo sur Hugging Face

Deux façons

Comme garde-fou personnalisé LiteLLM. Le plug-in Guardrino s’exécute dans LiteLLM, avant l’appel (pre_call) et après (post_call).
Devant LiteLLM. Les applications appellent le proxy compatible OpenAI de Guardrino, et LiteLLM est son amont.

Comme garde-fou personnalisé

Le plug-in est un seul fichier Python, guardrino_guardrail.py, fourni dans le paquet Guardrino. Placez-le à côté du config.yaml de LiteLLM. Chaque réglage (api_base, tenant, app, fail_open, timeout) peut aussi venir de l’environnement : GUARDRINO_URL, GUARDRINO_TENANT, GUARDRINO_APP, GUARDRINO_FAIL_OPEN, GUARDRINO_TIMEOUT.

Utilisez une entrée pour pre_call et une pour post_call. Un message refusé renvoie HTTP 400. Si Guardrino est injoignable, les appels passent par défaut (fail_open: true) ou sont refusés avec HTTP 503. post_call ne couvre pas les réponses en streaming : pour celles-ci, utilisez le proxy (ci-dessous).

pip install "litellm[proxy]" httpx
# put guardrino_guardrail.py (from the Guardrino package) next to config.yaml, then:
litellm --config config.yaml

Déclarez-le ensuite sous guardrails: dans le config.yaml de LiteLLM.

guardrails:
  - guardrail_name: guardrino-input
    litellm_params:
      guardrail: guardrino_guardrail.GuardrinoGuardrail
      mode: pre_call
      default_on: true
      api_base: os.environ/GUARDRINO_URL
      tenant: acme
      app: support-bot
      fail_open: true
  - guardrail_name: guardrino-output
    litellm_params:
      guardrail: guardrino_guardrail.GuardrinoGuardrail
      mode: post_call
      default_on: true
      api_base: os.environ/GUARDRINO_URL
      tenant: acme
      app: support-bot
      fail_open: true

Chaque modèle vers lequel LiteLLM route passe par les mêmes contrôles, car le garde-fou se trouve sur le chemin commun.

Avec LiteLLM comme amont

Ici Guardrino vérifie et transmet, LiteLLM route. Les applications ne changent que leur URL de base, vers Guardrino.

[proxy]
upstream = "http://litellm.internal:4000/v1"   # LiteLLM is Guardrino's upstream
api_key = "LITELLM_KEY"                        # optional

Le proxy compatible OpenAI

Demander un accès anticipé