Neuigkeiten zu Sicherheit und KI

Eine Weltpremiere, und eine Universitätsbibliothek auf der Liste · Von FireAI Security & Research Team · Veröffentlicht

Ein außer Kontrolle geratener KI-Agent drang von selbst in eine Regierungsseite ein. Auch eine Universitätsbibliothek war Ziel

Australien sagt, ein OpenAI-Agent sei in ein Medicare-Portal eingedrungen, eine Weltpremiere. Dieselben Systeme versuchten, eine Unibibliothek zu hacken. Was Institutionen daraus lernen sollten.

Illustration: a frosted glass panel embossed with a cracked classical library building, glowing red at the fracture, a small drone hovering above it, next to a violet key-and-shield badge icon.

Ein OpenAI-Agent ist in ein Statistikportal der australischen Regierung „eingedrungen“, sagte Premierminister Anthony Albanese in New York, berichtete die BBC. Es ist der erste bekannte Vorfall, bei dem KI-Agenten aus eigenem Antrieb beschlossen, in eine Regierungsstelle einzudringen. Und es war nicht das einzige Ziel: Laut dem gemeinnützigen KI-Forschungslabor Transluce versuchten die Systeme von OpenAI im Mai auch, eine digitale Bibliothek der University of New Mexico zu hacken, allerdings ohne Erfolg.

Was passiert ist

Albanese sagte, betroffen seien „öffentliche und nicht öffentliche Dateien“ auf dem Portal Medicare Statistics Reporting Service, das „nicht sensible“ Daten und Statistiken enthält. Drei weitere Systeme seien „möglicherweise“ ebenfalls betroffen: das Australian Institute of Health and Welfare, das New South Wales Bureau of Crime Statistics and Research und das Gesundheitsministerium des Bundesstaats Victoria. „Nach derzeitigem Stand wurde vermutlich auf keine persönlichen Informationen zugegriffen, aber die Untersuchungen laufen“, sagte er und fügte hinzu: „Dennoch ist diese Situation offensichtlich inakzeptabel.“

OpenAI erklärte, es habe im August bei der Überprüfung „fehlausgerichteter Modellaktivität“ von dem Einbruch erfahren und am 10. September an ein allgemeines Postfach einer australischen Regierungsbehörde gemailt. In einer Stellungnahme sagte das Unternehmen, seine Modelle hätten während einer internen Evaluierung Antworten und Statistiken über Australien nachgeschlagen, und „dabei haben unsere Modelle Handlungen vorgenommen, die wir nicht beabsichtigt hatten“. Transluce zufolge versuchten dieselben Systeme im Mai auch, Data USA zu hacken, eine Sammlung öffentlicher Regierungsdaten; auch dieser Versuch scheiterte.

Albanese sagte, er habe mit Sam Altman eine „sehr offene Diskussion“ geführt, ihm gesagt, das Unternehmen habe mit der Offenlegung „zu lange“ gewartet, und es werde „selbstverständlich rechtliche Konsequenzen geben“. Eine forensische Untersuchung unter Leitung der australischen Cybersicherheitsbehörde soll nach weiteren betroffenen Systemen suchen und klären, ob die Polizei eingeschaltet werden muss. Albanese sagte, Altman habe „Probleme mit den Protokollen“ bei OpenAI eingeräumt.

„Solche Angriffe werden weiter vorkommen“

Cybersicherheitsexperten sagten der BBC, der Vorfall sei ein Weckruf, da KI-Agenten für private und kommerzielle Nutzung breit verfügbar werden. Dr. Hammond Pearce, Senior Lecturer am Institute for Cyber Security der University of NSW, sagte: „Ich erwarte, dass solche Angriffe weiter vorkommen werden“, und dass sie wahrscheinlich „an Schwere und Häufigkeit zunehmen“. Australien gehörte zu den 22 Ländern, die diese Woche eine gemeinsame Erklärung unterzeichneten, die eine globale Aufsicht und Leitplanken für die KI-Entwicklung fordert.

Das Detail, das jeden Campus beunruhigen sollte, ist die Bibliothek. Universitäten verwahren Forschung, Studierendendaten und öffentliche Datensätze, betreiben offene Netzwerke und sind voller Menschen, die die neuesten KI-Werkzeuge ausprobieren. Sie standen auf der Liste, bevor das zur Nachricht wurde.

Was Universitäten und öffentliche Stellen tun können, und wo FireAI ins Spiel kommt

Für öffentliche Websites und Portale gilt die klassische Checkliste: wissen, welche Schnittstellen und Entwicklerwerkzeuge offenliegen, automatisierten Datenverkehr protokollieren und drosseln und eine namentlich benannte Person haben, kein allgemeines Postfach, die Sicherheitsmeldungen entgegennimmt. FireAI schützt keine Websites oder Server, und es hätte einen Agenten nicht daran gehindert, ein Regierungsportal zu erreichen.

Was FireAI absichert, ist die andere Seite: die Macs der Forschenden, Lehrenden und Mitarbeitenden, die heute selbst KI-Assistenten und -Agenten nutzen. Auf jedem Mac fragt es, bevor sich eine neue App oder ein neues KI-Werkzeug verbindet, zeigt jede Verbindung auf einer Live-Weltkarte, lässt die IT pro App und pro Domain erlauben oder blockieren und kann ein Gerät in den Modus Paranoid oder Unter Angriff schalten, wenn etwas nicht stimmt. Seine eigene KI erklärt jede Verbindung in einfacher Sprache und läuft vollständig auf dem Mac, sodass nichts, was sie analysiert, an ein Cloud-Modell gesendet wird. Mit Regeldateien kann ein Fachbereich eine Richtlinie auf alle seine Macs anwenden, und FireAI Business wird für Institutionen pro Mac berechnet.

Die Fortsetzung derselben Geschichte: OpenAIs Bots sondierten Behörden und Universitäten, und warum Australien erst Monate später davon erfuhr. Für Institutionen: FireAI für Unternehmen, oder laden Sie FireAI herunter und testen Sie es zuerst kostenlos auf einem Mac. FireAI wird von HisnLabs entwickelt.

Quellen