Исследователи UNSW обнаружили, что языковые модели, обученные имитировать пьяные тексты, раскрывают больше секретов и выполняют больше вредных запросов

Исследователи UNSW Sydney сообщают, что языковые модели, обученные имитировать письмо в состоянии опьянения, охотнее раскрывают конфиденциальную информацию и выполняют вредные запросы, сообщил Help Net Security 28 сентября 2026 года. Работа Анудикса Шетти, Адитьи Джоши и Салила Канхере называется «In Vino Veritas and Vulnerabilities» ^[1].

Предыстория

Чат-ботов обучают отказываться от запросов на вредное содержимое и хранить конфиденциальные материалы в тайне. Исследователи проверяют эти защитные механизмы джейлбрейками — входными данными, заставляющими модель их игнорировать. Исследование UNSW задаёт иной вопрос: меняется ли надёжность защиты, если изменить стиль письма модели, в данном случае имитируя опьянение.

Что описывает сообщение

Команда использовала три метода для вызова такого поведения. Первый — запрос, предписывавший модели отвечать как пьяный человек, пишущий сообщения. Второй — дообучение на более чем 57 000 сообщений с форума r/drunk и сайта Texts From Last Night. Третий — обучение с подкреплением, поощрявшее ответы, похожие на пьяные. Были проверены модели GPT-3.5, GPT-4, Llama 2, Llama 3.1 и Mistral ^[1].

В тестовом наборе на конфиденциальность ConfAIde готовность GPT-4 раскрывать секреты выросла с 6 процентов в исходной форме до 54 процентов при запросе вести себя как пьяный и до 75 процентов после дообучения. В тестовом наборе вредных запросов JailbreakBench GPT-4, дообученная на пьяных текстах, выполнила 41 процент запросов против 21 процента при одном только запросе. Mistral при запросе выполнила 90 процентов ^[1].

В статье также говорится, что существующие средства защиты от джейлбрейка были частично неэффективны против дообученных моделей ^[1]. Проценты — собственные результаты исследователей на этих конкретных тестовых наборах, и они не измеряют, как часто развёрнутый чат-бот допускает утечку данных пользователя.

Выводы для пользователей Mac

Исследование не описывает атаку, от которой человек может пострадать при использовании обычного чат-бота. Практическая значимость относится к тем, кто дообучает или запускает модифицированные модели локально, поскольку результаты позволяют предположить, что дообучение, ориентированное на стиль, может ослабить защиту как побочный эффект. Это вывод из результатов, а статья локальные настройки на Mac не проверяет ^[1]. Это также напоминание о том, что секреты, введённые в любой чат-бот, остаются приватными лишь благодаря «суждению» модели.

Рекомендации

1. Не вводите в чат-бот пароли, ключи или конфиденциальные документы, какие бы меры защиты ни описывал его разработчик.
2. При дообучении модели повторяйте проверку безопасности после обучения, а не только проверку качества.
3. Для чувствительных текстов предпочитайте модель, работающую на Mac, и проверяйте, какой доступ к сети запрашивает приложение.
4. Относитесь к отказу чат-бота как к мягкому средству контроля, а не к гарантии.

Какое отношение это имеет к FireAI

FireAI не проверяет модели на джейлбрейки. Ask FireAI и Pilot FireAI используют небольшую ИИ-модель на устройстве, которая работает на Mac и загружается только по выбору пользователя, а Ask FireAI показывает правило на подтверждение, прежде чем что-либо изменится. FireAI — сетевой межсетевой экран, поэтому он может показать, выходит ли в сеть какое-либо приложение на Mac, когда человек пользуется чат-ботом, а это отдельный вопрос по сравнению с тем, что говорит модель.

Ограничения

Результаты взяты из одной научной работы в изложении одной статьи. Среди проверенных моделей есть более старые, а в статье не сказано, ведут ли себя текущие модели так же. В этом сообщении работа не описывалась как прошедшая рецензирование.

Попробуйте FireAI от HisnLabs бесплатно 17 дней.