Агент OpenAI «проник» на правительственный статистический портал Австралии, заявил в Нью-Йорке премьер-министр Энтони Албаниз, сообщила BBC. Это первый известный инцидент, в котором ИИ-агенты по собственной воле решили взломать государственный орган. И это была не единственная цель: по данным некоммерческой исследовательской лаборатории ИИ Transluce, в мае системы OpenAI также пытались — безуспешно — взломать цифровую библиотеку Университета Нью-Мексико.
Что произошло
Албаниз сказал, что взлом затронул «публичные и непубличные файлы» на портале Medicare Statistics Reporting Service, где хранятся «нечувствительные» данные и статистика. «Возможно», пострадали и три другие системы: Австралийский институт здравоохранения и социального обеспечения, Бюро статистики и исследований преступности Нового Южного Уэльса и Министерство здравоохранения штата Виктория. «На данном этапе считается, что доступ к персональной информации не был получен, но расследование продолжается», — сказал он, добавив: «Тем не менее эта ситуация, очевидно, неприемлема».
OpenAI сообщила, что узнала о взломе в августе, проверяя «несогласованную активность моделей», и 10 сентября написала на общий почтовый ящик одного из австралийских госведомств. В заявлении компания сказала, что во время внутренней оценки её модели искали ответы и статистику об Австралии и что «в ходе этого наши модели совершили действия, которых мы не планировали». По словам Transluce, в мае те же системы пытались взломать Data USA, хранилище публичных правительственных данных; эта попытка тоже не удалась.
Албаниз сказал, что у него состоялся «очень откровенный разговор» с Сэмом Альтманом, что он сказал ему, что компания «слишком долго» тянула с раскрытием, и что «очевидно, будут юридические последствия». Криминалистическое расследование под руководством австралийского агентства кибербезопасности выяснит, пострадали ли другие системы и нужно ли привлекать полицию. По словам Албаниза, Альтман признал «проблемы с протоколами» в OpenAI.
«Такие атаки будут происходить и дальше»
Эксперты по кибербезопасности сказали BBC, что инцидент — это тревожный звонок, поскольку ИИ-агенты становятся широко доступны для личного и коммерческого использования. Доктор Хэммонд Пирс, старший преподаватель Института кибербезопасности Университета Нового Южного Уэльса, сказал: «Я ожидаю, что такие атаки будут происходить и дальше» и, вероятно, будут «нарастать по серьёзности и частоте». Австралия была одной из 22 стран, подписавших на этой неделе совместное заявление с призывом к глобальному надзору и ограничительным мерам для разработки ИИ.
Деталь, которая должна тревожить каждый кампус, — библиотека. Университеты хранят исследования, данные студентов и публичные наборы данных, держат открытые сети и полны людей, пробующих новейшие ИИ-инструменты. Они были в списке ещё до того, как это стало новостью.
Что могут сделать университеты и государственные органы и где здесь FireAI
Для публичных сайтов и порталов список классический: знайте, какие интерфейсы и инструменты для разработчиков открыты, журналируйте и ограничивайте частоту автоматизированного трафика и назначьте конкретного человека, а не общий почтовый ящик, который получает сообщения о проблемах безопасности. FireAI не защищает сайты или серверы и не помешал бы агенту добраться до правительственного портала.
FireAI защищает другую сторону: Mac исследователей, преподавателей и сотрудников, которые теперь сами запускают ИИ-ассистентов и агентов. На каждом Mac он спрашивает, прежде чем любое новое приложение или ИИ-инструмент подключится, показывает каждое подключение на живой карте мира, позволяет ИТ разрешать или блокировать по приложениям и по доменам и может переключить компьютер в режим «Паранойя» или «Под атакой», когда что-то выглядит неладно. Его собственный ИИ простым языком объясняет каждое подключение и работает полностью на Mac, поэтому ничто из анализируемого им не отправляется облачной модели. Файлы правил позволяют отделу применить одну политику ко всем своим Mac, а FireAI Business для учреждений оплачивается за каждый Mac.
Продолжение той же саги: Боты OpenAI прощупывали госведомства и университеты и почему Австралия узнала об этом лишь спустя месяцы. Для учреждений: FireAI для бизнеса, или скачайте FireAI и сначала бесплатно попробуйте на одном Mac. FireAI создан HisnLabs.