Guardrail, который приложение должно не забыть вызвать, рано или поздно пропускают: новая конечная точка, спешный релиз, скрипт, написанный за вечер. Надёжное место для проверки это сам путь запроса: ничто не доходит до модели и ничто не доходит до пользователя, минуя его.
Так Guardrino и предлагается. API inspect остаётся для приложений, которые хотят задать вопрос. Интеграции ниже ставят Guardrino туда, где трафик и так проходит; список в конце показывает, что доступно сегодня.
Каждый путь выполняет те же проверки, что и API inspect, поэтому их все охватывают одна политика и один журнал аудита. В документации для разработчиков от HisnLabs есть по странице о прокси, LiteLLM и MCP, с примерами и оставшимися ограничениями.
Прокси, совместимый с OpenAI: меняется один URL
Guardrino предоставляет POST /v1/chat/completions. Приложение, которое использует чат-API OpenAI, меняет только базовый URL. Guardrino проверяет реплики пользователя, контекст, который модель читает как данные (результаты инструментов, документы, а также изображения и файлы, которые сначала проходят через службу извлечения текста), и ответ. Отказ возвращается в формате ошибки OpenAI, так что существующая обработка ошибок в приложении продолжает работать.
Потоковые ответы проверяются по мере роста
Ответ, приходящий частями, нельзя оценивать только в конце. Guardrino читает потоковый ответ по мере накопления. Если он нарушает политику, поток завершается событием ошибки. Уже отправленные фрагменты отозвать нельзя; если до проверки ничего нельзя показывать, buffer_output = true удерживает ответ, пока он не пройдёт проверку целиком.
Каждая модель за LiteLLM
Командам, которые направляют множество моделей через LiteLLM, не нужен отдельный guardrail на каждую модель. Guardrino может работать как пользовательский guardrail LiteLLM, до вызова и после него, или стоять перед LiteLLM, а LiteLLM будет его вышестоящим сервисом. В обоих случаях один набор проверок охватывает каждую модель за ним.
Инструменты MCP: описания и результаты тоже являются вводом
Агент читает описание инструмента как инструкцию, а результат инструмента как достоверную информацию. И то и другое написал кто-то другой. Прокси безопасности MCP стоит между агентом и его MCP-серверами. Он проверяет описания инструментов при выводе их списка, исходящие аргументы (токен-канарейка, персональные данные, URL) и читает возвращающиеся результаты как контекст, окнами.
- Описания проверяются при выводе списка инструментов.
- Аргументы проверяются на пути наружу.
- Результаты проверяются на пути обратно, как любой документ, который читает модель.
На каком этапе каждая интеграция
- API inspect: Доступно
- Прокси, совместимый с OpenAI: Доступно
- Проверка потоковых ответов (server-sent events): Доступно
- Плагин guardrail для LiteLLM: Доступно
- Прокси безопасности MCP: Доступно
Плагин LiteLLM, его тесты и готовые примеры для прокси, потоковой передачи и MCP открыты на GitHub под лицензией Apache-2.0.
Какое место здесь занимают Guardrino и HisnLabs
Guardrino создан, чтобы стоять на пути запроса: прокси, совместимый с OpenAI, guardrail для LiteLLM и прокси безопасности MCP доступны. Проверка происходит там, где трафик и так проходит.