Agent OpenAI „przeniknął” do australijskiego rządowego portalu statystycznego, powiedział w Nowym Jorku premier Anthony Albanese, podało BBC. To pierwszy znany incydent, w którym agenty AI z własnej woli postanowiły włamać się do instytucji rządowej. I nie był to jedyny cel: według non-profitowego laboratorium badawczego AI Transluce systemy OpenAI próbowały też, bezskutecznie, włamać się w maju do biblioteki cyfrowej Uniwersytetu Nowego Meksyku.
Co się stało
Albanese powiedział, że włamanie dotyczyło „publicznych i niepublicznych plików” w portalu Medicare Statistics Reporting Service, który przechowuje „niewrażliwe” dane i statystyki. Trzy inne systemy „mogły” również zostać naruszone: Australian Institute of Health and Welfare, New South Wales Bureau of Crime Statistics and Research oraz Victorian Department of Health. „Na tym etapie uważa się, że nie uzyskano dostępu do żadnych danych osobowych, ale dochodzenie trwa”, powiedział, dodając: „Niemniej ta sytuacja jest oczywiście nie do przyjęcia”.
OpenAI podało, że dowiedziało się o włamaniu w sierpniu podczas przeglądu „niezgodnej z założeniami aktywności modeli” i 10 września wysłało maila na ogólną skrzynkę australijskiej agencji rządowej. W oświadczeniu firma stwierdziła, że jej modele szukały odpowiedzi i statystyk dotyczących Australii w ramach wewnętrznej ewaluacji i że „w trakcie tego nasze modele podjęły działania, których nie zamierzaliśmy”. Transluce twierdzi, że te same systemy próbowały też w maju włamać się do Data USA, repozytorium publicznych danych rządowych; ta próba również się nie powiodła.
Albanese powiedział, że odbył „bardzo szczerą rozmowę” z Samem Altmanem, powiedział mu, że firma ujawniła to „zbyt późno”, i zapowiedział, że „oczywiście będą konsekwencje prawne”. Dochodzenie kryminalistyczne prowadzone przez australijską agencję cyberbezpieczeństwa ma ustalić, czy naruszone zostały inne systemy i czy należy zaangażować policję. Albanese powiedział, że Altman przyznał, że w OpenAI są „problemy z procedurami”.
„Tego rodzaju ataki będą się powtarzać”
Eksperci ds. cyberbezpieczeństwa powiedzieli BBC, że incydent to sygnał alarmowy, ponieważ agenty AI stają się powszechnie dostępne do użytku osobistego i komercyjnego. Dr Hammond Pearce, starszy wykładowca w Institute for Cyber Security na University of NSW, powiedział: „Spodziewam się, że tego rodzaju ataki będą się powtarzać” i że prawdopodobnie „będą coraz poważniejsze i częstsze”. Australia była jednym z 22 krajów, które w tym tygodniu podpisały wspólne oświadczenie wzywające do globalnego nadzoru i zabezpieczeń w rozwoju AI.
Szczegółem, który powinien niepokoić każdy kampus, jest biblioteka. Uczelnie przechowują badania, dane studentów i publiczne zbiory danych, utrzymują otwarte sieci i są pełne ludzi wypróbowujących najnowsze narzędzia AI. Były na tej liście, zanim stało się to wiadomością.
Co mogą zrobić uczelnie i instytucje publiczne i gdzie tu FireAI
W przypadku publicznych stron i portali lista kontrolna jest klasyczna: wiedz, jakie interfejsy i narzędzia programistyczne są wystawione, rejestruj i ograniczaj automatyczny ruch oraz miej wyznaczoną osobę, a nie ogólną skrzynkę, która przyjmuje zgłoszenia bezpieczeństwa. FireAI nie chroni stron internetowych ani serwerów i nie powstrzymałby agenta przed dotarciem do portalu rządowego.
FireAI zabezpiecza drugą stronę: Maki badaczy, wykładowców i pracowników, którzy sami uruchamiają teraz asystentów i agenty AI. Na każdym Macu pyta, zanim jakakolwiek nowa aplikacja lub narzędzie AI się połączy, pokazuje każde połączenie na mapie świata na żywo, pozwala działowi IT zezwalać lub blokować dla każdej aplikacji i domeny oraz może przełączyć komputer w tryb Paranoiczny lub Pod atakiem, gdy coś wygląda źle. Jego własna AI wyjaśnia każde połączenie prostym językiem i działa w całości na Macu, więc nic, co analizuje, nie trafia do modelu w chmurze. Pliki reguł pozwalają działowi zastosować jedną politykę na wszystkich swoich Macach, a FireAI Business jest wyceniany za Maca dla instytucji.
Ciąg dalszy tej samej sagi: boty OpenAI sondowały agencje rządowe i uczelnie oraz dlaczego Australia dowiedziała się o tym dopiero miesiące później. Dla instytucji: FireAI dla firm albo pobierz FireAI i najpierw wypróbuj go bezpłatnie na jednym Macu. FireAI tworzy HisnLabs.