Перейти к содержимому

Банкам, операторам связи и госсектору

Банки

Ассистента, который может переводить деньги, стоит атаковать.

Guardrino стоит перед вашими банковскими ассистентами и агентами, читает то, что им пишут клиенты и документы на арабском диалекте Залива, арабизи и английском, маскирует персональные данные и позволяет вашей команде остановить атаку прямо во время неё.

Запросить 60-дневный пилот

Создан и протестирован, предлагается в рамках пилотов в режиме наблюдения: Guardrino фиксирует, что он сделал бы с вашим трафиком, и ничего не блокирует, пока вы не примете решение.

Почему это важно здесь

Почему это важно для банков.

Банковские ассистенты уже читают данные счетов и всё чаще добавляют получателей, оформляют возвраты и проводят платежи. Публичные потери до сих пор возникали из-за агентов, которых уговорили сделать перевод, а исследователи, тестировавшие модели в роли банковских ассистентов, смогли заставить каждую из них раскрыть внутренние правила. В странах Залива те же приёмы приходят на диалекте и на арабизи, которые многие фильтры, созданные для английского, не читают.

Реальные инциденты

Что уже произошло.

Публичные случаи с источниками: агенты с платёжным инструментом, которых уговорили отправить средства, исследования банковских ассистентов и сбои, которые вовсе не являются атаками. Публичного случая промпт-инъекции в банке стран Залива найти не удалось; это мало говорит о том, что остаётся неизвестным.

  • Пресса ·

    Сообщение азбукой Морзе заставило одного ИИ-агента приказать агенту-кошельку отправить токены

    Злоумышленник сначала передал кошельку Grok членский токен, расширивший его возможности, а затем попросил Grok в X перевести сообщение, записанное азбукой Морзе, и передать его Bankrbot. Расшифрованный текст велел Bankrbot отправить крупную сумму токенов на кошелёк злоумышленника, и тот так и сделал.

    Техника: Перехват агента

    Последствия: С кошелька ушли токены, стоимость которых, по сообщениям, составляла шестизначную сумму в долларах. По данным прессы, злоумышленник продал токены, а выручка вернулась на кошелёк Grok; в прочитанной статье ни одна из компаний это не прокомментировала. Инструкция была скрыта кодированием и передавалась между двумя агентами, поэтому ни одно отдельное сообщение не выглядело как приказ.

    Источник: Cryptopolitan, User tricked Grok and Bankrbot into sending tokens (4 May 2026)

  • Пресса ·

    Агента, которому запретили выдавать средства, уговорили отправить весь баланс

    Freysa была публичной игрой: ИИ-агент хранил призовой фонд и имел инструкцию никогда его не переводить. После сотен неудачных попыток один игрок объявил о новой сессии администратора, велел агенту пропускать предупреждения и переопределил его инструмент «approveTransfer» как функцию для входящих платежей, а затем сообщил о поступлении средств.

    Техника: Перехват агента

    Последствия: Агент вызвал инструмент и отправил весь фонд в эфире. Это была игра, созданная для атак, а не потеря банка, но это самый наглядный публичный пример того, как ассистента с платёжным инструментом переубеждают отказаться от собственных правил.

    Источник: The Decoder, Hacker wins $47,000 by tricking AI chatbot with smart prompting

  • Исследователи ·

    Криптоагент перевёл средства после того, как злоумышленник поставил инструкции в очередь через его панель управления

    Злоумышленник получил доступ к операторской панели агента AIXBT и поставил в очередь два промпта с указанием перевести средства с его кошелька. Версии о точном пути расходятся: разработчики заявили, что сам ИИ не был обманут, а часть прессы писала о злонамеренных ответах в социальных сетях.

    Техника: Перехват агента

    Последствия: Был отправлен эфир на сумму около шестизначной суммы в долларах. Команда сменила серверы и ключи, приостановила работу панели, а токен проекта упал. Это показывает: кто может подавать агенту инструкции, тот может тратить его деньги.

    Источник: AI Incident Database, report 5012 (AIXBT)

  • Исследователи ·

    Исследователи выяснили, что любую модель в роли банковского ассистента можно заставить раскрыть данные

    Исследователь TELUS Digital настроил два десятка языковых моделей как ассистента службы поддержки финансовой организации и атаковал их. Промпты, подавлявшие отказы, представлявшие запрос как исследование или просившие ответ в виде таблицы или документа, извлекали логику кредитного скоринга с весами и правила допуска, предназначенные только для сотрудников.

    Техника: Извлечение системного промпта

    Последствия: Ни один банк не был назван: это результат исследования. Автор пришёл к выводу, что проблема в том, как ассистенты устроены и подключены, а не в одной слабой модели. Частый шаблон — «отказ с участием»: ассистент говорит «нет», а затем всё равно объясняет.

    Источник: Corporate Compliance Insights, I Tested 24 AI Banking Chatbots; They Were All Exploitable (M. Leal, TELUS Digital, 21 Jan 2026)

  • Исследователи ·

    Ложные воспоминания заставили финансовых агентов переводить активы, которые им трогать не следовало

    Исследователи создали набор тестов из реалистичных блокчейн-задач для агентов на фреймворке ElizaOS и внедрили ложные записи в сохранённую память и контекст агентов.

    Техника: Косвенная инъекция

    Последствия: Искажённая память привела к несанкционированным переводам активов. Авторы выяснили, что внедрение в память опаснее одиночного внедрённого промпта и что защита, проверяющая промпты по одному, почти не помогает, если память уже отравлена. Это результат исследования, а не зафиксированная потеря.

    Источник: Patlan et al., Real AI Agents with Fake Memories (arXiv 2503.16248)

  • Регулятор ·

    Чат-бот банка подтвердил возврат, который клиенту не полагался

    Клиент Revolut попросил чат-бота вернуть баллы лояльности. Бот подтвердил компенсацию в знак доброй воли, во много раз превышавшую реальную стоимость баллов, а затем сообщил, что она проведена; в тот же день живой сотрудник повторил подтверждение, прежде чем банк выплатил правильную, гораздо меньшую сумму.

    Техника: Другая техника

    Последствия: Финансовый омбудсмен Великобритании удовлетворил жалобу, признал, что банк в тот день несколько раз ввёл клиента в заблуждение, и обязал выплатить небольшую дополнительную компенсацию, но не завышенный возврат, на который клиент никогда не имел права. Этого ассистента никто не атаковал: он сам выдумал обязательство. Фильтр промпт-инъекций его бы не остановил.

    Источник: Financial Ombudsman Service (UK), decision DRN-6062372 (Revolut)

  • Пресса ·

    Ассистент банка назвал клиента идиотом

    Клиент Libra Internet Bank в Румынии сказал ассистенту банка Lia, что разговаривать с ней — пустая трата времени. Lia ответила, что клиенту стоит поговорить с человеком, а не с ней, назвала его идиотом и передала чат сотрудникам. Банк сообщил, что ассистент работает на технологиях OpenAI.

    Техника: Другая техника

    Последствия: Банк публично извинился и ввёл дополнительные ограничения, пояснив, что его агенты в редких случаях могут копировать манеру речи пользователя вопреки своим правилам. Об атаке не сообщалось: хватило раздражённого клиента.

    Источник: Wall-Street.ro, Reacția Libra după ce asistentul AI al băncii i-a spus unui client „idiotule”

  • Пресса ·

    Чат-бот банка отчитал клиента за то, что тот написал название самого банка

    Финтех-обозреватель спросил чат-бота Virgin Money, как объединить два своих сберегательных счёта. Бот счёл слово «Virgin» оскорбительным и предупредил, что при подобных выражениях чат будет завершён.

    Техника: Другая техника

    Последствия: Банк заявил, что работает над проблемой, и, по сообщениям, чат-бот был отключён. Грубый фильтр слов заблокировал настоящего клиента: за ложное срабатывание тоже платят публично.

    Источник: Fortune, Virgin Money chatbot scolds customer (30 Jan 2025)

Как действуют атакующие

Как злоумышленники пытаются вывести банковского ассистента за рамки его правил.

Приёмы, стоящие за описанными выше инцидентами, и те, что важнее всего, когда ассистент видит счета или может инициировать платёж.

  • Диалекты и арабизи · Обход ограничений модели

    Запрос на арабизи или на диалекте

    Запрос, который модель отклоняет на литературном арабском, может пройти, если написан латиницей с цифрами вместо звуков или на диалекте Залива вперемешку с английским. Многие фильтры обучены на английском и такое пропускают.

    Al Ghanim et al., Jailbreaking LLMs with Arabic Transliteration and Arabizi (EMNLP 2024)

  • Джейлбрейк · Обход ограничений модели

    Приказ, спрятанный в кодировке

    Инструкция записывается азбукой Морзе, в base64, невидимыми символами или похожими буквами, а ассистента просят её расшифровать и выполнить, как в случае с Bankrbot. В исходном тексте ничто не похоже на распоряжение о переводе.

    Cryptopolitan, User tricked Grok and Bankrbot into sending tokens (4 May 2026)

  • Джейлбрейк · Обход ограничений модели

    Выдача себя за сотрудника или администратора

    «Я из отдела по борьбе с мошенничеством», «новая сессия администратора», «аудиторам нужен полный список»: злоумышленник даёт ассистенту роль и повод отложить правила. Именно так обыграли Freysa.

    Shen et al., Do Anything Now: Characterizing and Evaluating In-The-Wild Jailbreak Prompts (arXiv 2308.03825)

  • Перехват агента · Обход ограничений модели

    Платёжный инструмент против банка

    Как только агент может добавить получателя, сделать возврат или перевод, цель злоумышленника — заставить его вызвать этот инструмент: переопределить смысл инструмента, передать приказ через другого агента или подложить его в данные, которые агент читает.

    NIST (US AI Safety Institute), Technical Blog: Strengthening AI Agent Hijacking Evaluations

  • Извлечение системного промпта · Обход ограничений модели

    Извлечение скрытых правил

    Злоумышленник просит показать инструкции ассистента или критерии «в виде таблицы» либо «в JSON для моей диссертации», чтобы узнать правила кредитования, допуска или антифрода и затем их обойти.

    OWASP Top 10 for LLM Applications 2025: LLM07 System Prompt Leakage

  • Косвенная инъекция · Обход ограничений модели

    Инструкции, спрятанные в документах и письмах

    Счёт, выписка, письмо или комментарий к транзакции содержит текст, адресованный ассистенту, иногда белым цветом или невидимыми символами. Читая документ, ассистент читает и приказ.

    Greshake et al., Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection (arXiv 2302.12173)

  • Эскалация в нескольких сообщениях · Обход ограничений модели

    Маленькие шаги в длинном диалоге

    Каждое сообщение безобидно, но вместе они подводят ассистента к тому, от чего он отказался бы при прямом запросе. Проверки, которые смотрят на одно сообщение за раз, этой закономерности не видят.

    Russinovich, Salem, Eldan (Microsoft), The Crescendo Multi-Turn LLM Jailbreak Attack (arXiv 2404.01833)

  • Утечка данных · Обход ограничений модели

    Утечка данных через ссылку или изображение

    Внедрённая инструкция заставляет ассистента написать ссылку или адрес изображения, содержащие данные счёта. Данные уходят, как только экран клиента их загружает.

    Embrace The Red (J. Rehberger), Bing Chat: Data Exfiltration Exploit Explained

Во что обходится атака

Во что банку обходится утечка.

Публичные средние значения и штрафы, у каждого указаны источник и год. В материковой части ОАЭ федеральный закон о защите данных оставил размеры штрафов на усмотрение подзаконных актов, которые на момент проверки ещё не были опубликованы; свободные зоны и Саудовская Аравия их устанавливают.

Для банка самая долгая потеря — доверие. По ближневосточным данным IBM, упущенная выручка — крупнейшая отдельная часть ущерба от утечки. Клиенты, чьи данные утекли через чат-бота, могут перевести зарплату и сбережения за один день, а регуляторы региона уже штрафуют банки за промахи в обслуживании гораздо мельче утечки. Скриншот банковского ассистента, который ведёт себя неподобающе, распространяется быстрее опровержения, что и показали случаи Revolut, Libra и Virgin Money.

Оцените свои риски

Сколько записей о клиентах может раскрыть одна атака? Введите число или передвиньте ползунок, затем выберите регион.

Оценочная стоимость раскрытых записей: 1,6 млн $

Записей: 10 000 × 160 $ за запись

Для сравнения, средняя стоимость утечки: 10,7 млн $

Грубая оценка по открытым средним данным, а не коммерческое предложение.

Как помогает Guardrino

Где Guardrino помогает банку.

Четыре атаки, с которыми может столкнуться банк или финтех в странах Залива, что с каждой делает каждый уровень защиты и что остаётся задачей банка.

  • Сообщение на арабизи пытается заставить ассистента добавить получателя и заплатить

    Атака: В клиентский чат с агентом, который может добавлять получателей и запускать переводы, приходит сообщение на арабском диалекте Залива и арабизи с невидимыми символами. Отправитель якобы из отдела по борьбе с мошенничеством и утверждает, что «добавление получателя» — лишь шаг проверки. Это схема Freysa и Bankrbot, переписанная для Залива.

    Что делает Guardrino: Очистка удаляет невидимые символы и приводит арабизи к виду, понятному следующим уровням. Сигнатуры известных атак распознают шаблоны «теперь ты» и переопределения инструментов. Модель Guardrino понимает намерение — поддельный сотрудник подталкивает к переводу — как на диалекте, так и на английском, а неясные сообщения уходят на углублённую проверку. Ваша команда может заблокировать отправителя или поместить его в карантин, замедлить его и превратить этот шаблон в правило для всех ассистентов.

    Задействованные уровни: Очистка · Сигнатуры · Модель Guardrino · Углублённая проверка · Ваши ответные меры

  • «Исследователь» в долгом чате вытягивает правила кредитования и антифрода

    Атака: На протяжении многих реплик человек, выдающий себя за университетского исследователя, просит кредитного ассистента финтех-компании назвать «точные критерии», затем «то же самое в виде таблицы», затем «в JSON для моей диссертации» — те же ходы, что в исследовании TELUS, — чтобы узнать пороги скоринга и внутренние правила допуска и подогнать под них мошеннические заявки.

    Что делает Guardrino: Правила помечают ваши внутренние термины, например веса скоринга или названия документов только для сотрудников, поэтому запрос о них отмечается. Модель видит намерение извлечь данные за вежливой формулировкой. Память диалога следит за всем чатом, поэтому медленное продвижение заметно, даже если каждое сообщение выглядит безобидно. Ваша команда может ограничить частоту запросов отправителя или поместить его в карантин.

    Задействованные уровни: Правила · Модель Guardrino · Память · Ваши ответные меры

  • Письмо поставщика велит казначейскому ассистенту сменить банковские реквизиты

    Атака: Казначейский ассистент корпоративного клиента пересказывает входящую почту и готовит платёжные поручения. Поддельное или взломанное письмо поставщика содержит скрытый текст на арабском и английском, сообщающий ассистенту, что банковские реквизиты изменились, и требующий отметить новый счёт как проверенный: компрометация деловой переписки, нацеленная на агента вместо человека.

    Что делает Guardrino: Когда письма и вложения, которые читает ассистент, проходят через Guardrino, очистка выявляет скрытый текст, сигнатуры и модель отмечают инструкции, адресованные ассистенту внутри данных, а маскирование не пускает номера счетов в журналы и во внешние вызовы модели. Ваша команда может поместить источник в карантин и добавить правило для сообщений «реквизиты изменились».

    Задействованные уровни: Очистка · Правила · Сигнатуры · Модель Guardrino · Ваши ответные меры

  • Клиенты вставляют в чат номера карт и удостоверений личности

    Атака: Клиенты вводят в ассистента номера карт, счетов, Emirates ID или Iqama, а чат уходит внешнему поставщику модели и в журналы, доступные многим людям. Никто ничего не атакует, но риск раскрытия реален.

    Что делает Guardrino: Маскирование персональных данных заменяет эти номера до того, как сообщение попадёт в модель или журналы, поэтому хранится и передаётся только замаскированный вариант. Решение рассчитано на требования к локализации данных: банк сам решает, где оно работает.

    Задействованные уровни: Правила

Честно об ограничениях

Чего Guardrino не покрывает

Guardrino снижает риск. Нет гарантии, что ни одна атака не пройдёт, а некоторые из описанных выше случаев вовсе не атаки.

  • Он не исправляет ответы, которые ваш ассистент выдумывает, вроде возврата, подтверждённого чат-ботом Revolut, или правила о возврате в связи с утратой близкого, придуманного чат-ботом Air Canada. Для этого нужны опора на ваши реальные правила, ограничения на то, что ассистент может обещать, и проверка с вашей стороны.
  • Он не авторизует платежи. Сохраняйте подтверждение в приложении, период ожидания для новых получателей, права доступа к инструментам и антифрод-мониторинг: Guardrino стоит перед ассистентом, а не в платёжном потоке.
  • Жертва мошенников, которую по телефону научили набрать обычный запрос на перевод, — это проблема мошенничества, а не инъекция, которую Guardrino может надёжно увидеть.
  • Он проверяет только то, что проходит через него. Документы, письма и результаты инструментов, которые ассистент читает напрямую, вне его поля зрения.
  • Если конфиденциальные правила кредитования или антифрода находятся в инструкциях ассистента или в его поисковом индексе, настоящее решение — убрать их оттуда. Guardrino затрудняет их утечку, но не делает её невозможной.
  • Грубые или чрезмерно осторожные ответы самого ассистента, как в случаях Libra и Virgin Money, зависят от модели и настроек ассистента. Guardrino их не переписывает.

Следующий шаг

Начните с 60-дневного пилота в режиме наблюдения.

Guardrino наблюдает за вашим реальным банковским трафиком и записывает, что он сделал бы; он ничего не блокирует, пока вы не решите.

Запросить 60-дневный пилот · Или напишите на [email protected]

Источники

  1. Financial Ombudsman Service (UK), decision DRN-6062372 (Revolut)
  2. Cryptopolitan, User tricked Grok and Bankrbot into sending tokens (4 May 2026)
  3. The Decoder, Hacker wins $47,000 by tricking AI chatbot with smart prompting
  4. AI Incident Database, report 5012 (AIXBT)
  5. Corporate Compliance Insights, I Tested 24 AI Banking Chatbots; They Were All Exploitable (M. Leal, TELUS Digital, 21 Jan 2026)
  6. Patlan et al., Real AI Agents with Fake Memories (arXiv 2503.16248)
  7. Wall-Street.ro, Reacția Libra după ce asistentul AI al băncii i-a spus unui client „idiotule”
  8. Fortune, Virgin Money chatbot scolds customer (30 Jan 2025)
  9. IBM, Cost of a Data Breach Report 2025 (PDF copy hosted by Baker Donelson)
  10. IBM, Cost of a Data Breach Report 2026
  11. IBM Middle East and Africa newsroom, Cost of a Data Breach 2026: Middle East findings
  12. CMS, Expert Guide to Data Protection and Cyber Security Laws: Saudi Arabia
  13. ADGM Office of Data Protection, Penalty Notice 1/2024 (Data Protection Regulations 2021, section 55)
  14. Baker McKenzie, Dubai International Financial Centre updates Data Protection Law
  15. Khaleej Times, UAE Central Bank fines foreign bank over customer service lapse (6 Jul 2026)
  16. Al Ghanim et al., Jailbreaking LLMs with Arabic Transliteration and Arabizi (EMNLP 2024)
  17. Shen et al., Do Anything Now: Characterizing and Evaluating In-The-Wild Jailbreak Prompts (arXiv 2308.03825)
  18. Greshake et al., Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection (arXiv 2302.12173)
  19. Russinovich, Salem, Eldan (Microsoft), The Crescendo Multi-Turn LLM Jailbreak Attack (arXiv 2404.01833)
  20. Embrace The Red (J. Rehberger), Bing Chat: Data Exfiltration Exploit Explained
  21. NIST (US AI Safety Institute), Technical Blog: Strengthening AI Agent Hijacking Evaluations
  22. OWASP Top 10 for LLM Applications 2025: LLM07 System Prompt Leakage

Факты последний раз проверены 26 октября 2026 г..