Tutoriel · Disponible

Placer Guardrino devant votre application compatible OpenAI

Trois étapes, et rien ne change dans votre application, sauf une URL.

Statut : disponible. Cette intégration est construite et testée. Les entreprises du programme pilote reçoivent le paquet Guardrino de HisnLabs.

Référence développeur · Guide d’installation · Plateformes d’IA · Fiche du modèle ouvert · Proxy compatible OpenAI · Streaming · LiteLLM · Proxy de sécurité MCP · Tutoriel : LiteLLM · Tutoriel : outils MCP

Essayez-le dès aujourd’hui Guardrino-t7 Open, une version antérieure de notre classifieur, est publique sur Hugging Face sous licence Apache-2.0. La démo fonctionne dans votre navigateur : ce que vous tapez reste sur votre appareil. Démo en direct · Fiche du modèle · La même démo sur Hugging Face

Étape 1 · Définir l’amont

Guardrino doit d’abord être installé (voir le guide d’installation). Dans son fichier de politique, ajoutez une section [proxy] qui désigne l’API de modèle que votre application utilise aujourd’hui.

block_status = 403            # answer a refused message with HTTP 403 (default 400)

[proxy]
upstream = "https://llm.example/v1"   # the model API Guardrino forwards to
api_key = "UPSTREAM_KEY"              # optional: when unset, the caller's key is passed through
buffer_output = false                 # true: hold the reply until it has been checked

Omettez api_key si votre application doit continuer à envoyer sa propre clé : Guardrino la transmet telle quelle.

Étape 2 · Changer l’URL de base

Dans votre application, remplacez l’URL de base du fournisseur de modèle par celle de Guardrino. Rien d’autre ne change.

from openai import OpenAI

# The only change: the base URL (and the key your Guardrino deployment expects).
client = OpenAI(base_url="https://guardrino.example/v1", api_key="YOUR_KEY")

reply = client.chat.completions.create(
    model="your-model",
    messages=[{"role": "user", "content": "Summarise this ticket."}],
    user="conversation-7f3a",  # becomes the conversation_id
)

Pour relier les tours sans toucher à votre code, envoyez la même valeur user, ou l’en-tête X-Guardrino-Conversation, à chaque tour d’une conversation.

Étape 3 · Vérifier que ça marche

Envoyez un message normal, puis un message que votre politique refuse. Le premier renvoie la réponse du modèle ; le second renvoie une erreur au format d’erreur OpenAI.

curl https://guardrino.example/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -H "X-Guardrino-Conversation: conversation-7f3a" \
  -d '{"model": "your-model", "messages": [{"role": "user", "content": "Hello"}]}'

Si votre application diffuse les réponses en streaming, lisez la page sur le streaming pour choisir entre morceaux en direct et buffer_output = true.

Demander un accès anticipé