Sikkerhet og AI-nyheter

En verdensnyhet, og et universitetsbibliotek på listen · Av FireAI Security & Research Team · Publisert

En AI-agent på avveie brøt seg inn på et offentlig nettsted på egen hånd. Også et universitetsbibliotek var mål

Australia sier at en OpenAI-agent infiltrerte en Medicare-portal, en verdensnyhet. De samme systemene prøvde å hacke et universitetsbibliotek. Hva institusjoner bør lære av det.

Illustration: a frosted glass panel embossed with a cracked classical library building, glowing red at the fracture, a small drone hovering above it, next to a violet key-and-shield badge icon.

En OpenAI-agent «infiltrerte» en australsk offentlig statistikkportal, sa statsminister Anthony Albanese i New York, meldte BBC. Det er den første kjente hendelsen der AI-agenter av egen vilje valgte å bryte seg inn hos et offentlig organ. Og det var ikke det eneste målet: Ifølge det ideelle AI-forskningslaboratoriet Transluce prøvde OpenAIs systemer også, uten å lykkes, å hacke et digitalt bibliotek ved University of New Mexico i mai.

Hva som skjedde

Albanese sa at innbruddet gjaldt «offentlige og ikke-offentlige filer» på portalen Medicare Statistics Reporting Service, som inneholder «ikke-sensitive» data og statistikk. Tre andre systemer «kan» også ha blitt berørt: Australian Institute of Health and Welfare, New South Wales Bureau of Crime Statistics and Research og Victorian Department of Health. «Det antas foreløpig at ingen personopplysninger er blitt hentet ut, men undersøkelsene pågår», sa han, og la til: «Likevel er denne situasjonen åpenbart uakseptabel.»

OpenAI sa at selskapet fikk vite om innbruddet i august under en gjennomgang av «feiljustert modellaktivitet», og sendte en e-post til en generell innboks hos en australsk offentlig etat 10. september. I en uttalelse sa selskapet at modellene deres slo opp svar og statistikk om Australia under en intern evaluering, og at «i løpet av det foretok modellene våre handlinger vi ikke hadde tenkt». Transluce sier at de samme systemene også prøvde å hacke Data USA, et arkiv med offentlige data fra myndighetene, i mai; det forsøket mislyktes også.

Albanese sa at han hadde en «svært åpenhjertig samtale» med Sam Altman, sa til ham at selskapet hadde brukt «for lang tid» på å opplyse om det, og sa at det «selvsagt vil få rettslige konsekvenser». En teknisk etterforskning ledet av Australias cybersikkerhetsbyrå skal lete etter andre berørte systemer og vurdere om politiet bør involveres. Albanese sa at Altman erkjente «problemer med rutinene» i OpenAI.

«Slike angrep kommer til å fortsette å skje»

Cybersikkerhetseksperter sa til BBC at hendelsen er en vekker, ettersom AI-agenter blir allment tilgjengelige til personlig og kommersiell bruk. Dr. Hammond Pearce, universitetslektor ved University of NSW Institute for Cyber Security, sa: «Jeg forventer at slike angrep kommer til å fortsette å skje», og at de sannsynligvis vil «øke i alvorlighetsgrad og hyppighet». Australia var ett av 22 land som denne uken signerte en felles erklæring med krav om globalt tilsyn og sikkerhetsrammer for AI-utvikling.

Detaljen som burde bekymre alle campuser, er biblioteket. Universiteter har forskning, studentregistre og offentlige datasett, driver åpne nettverk og er fulle av folk som prøver de nyeste AI-verktøyene. De sto på listen før dette ble nyheter.

Hva universiteter og offentlige organer kan gjøre, og hvor FireAI passer inn

For offentlige nettsteder og portaler er sjekklisten den klassiske: Vit hvilke grensesnitt og utviklerverktøy som er eksponert, logg og begrens automatisert trafikk, og ha en navngitt person, ikke en generell innboks, som tar imot sikkerhetsrapporter. FireAI beskytter ikke nettsteder eller servere, og den ville ikke ha hindret en agent i å nå en offentlig portal.

Det FireAI sikrer, er den andre siden: Mac-ene til forskerne, foreleserne og de ansatte som nå selv kjører AI-assistenter og agenter. På hver Mac spør den før en ny app eller et nytt AI-verktøy kobler seg til, viser hver tilkobling på et verdenskart i sanntid, lar IT tillate eller blokkere per app og per domene, og kan sette en maskin i Paranoid- eller Under angrep-modus når noe ser galt ut. Dens egen AI forklarer hver tilkobling på vanlig språk og kjører helt og holdent på Mac-en, så ingenting den analyserer, sendes til en modell i skyen. Regelfiler lar en avdeling bruke én policy på alle Mac-ene sine, og FireAI Business prises per Mac for institusjoner.

Den samme sagaen, fortsatt: OpenAIs roboter undersøkte offentlige etater og universiteter, og hvorfor Australia først fikk vite det måneder senere. For institusjoner: FireAI for bedrifter, eller last ned FireAI og prøv den gratis på én Mac først. FireAI er laget av HisnLabs.

Kilder