Der FireAI-Sicherheitsblog

Von FireAI Security & Research Team · Veröffentlicht

Wenn Algorithmen außer Kontrolle geraten: Schutz vor autonomer Schadsoftware

Wenn Algorithmen außer Kontrolle geraten: Schutz vor autonomer Schadsoftware

Schadsoftware hatte immer einen menschlichen Urheber, der ihr Anweisungen gab — selbst wenn sie unbeaufsichtigt lief. Was sich 2026 geändert hat: OpenAI hat ausführlich und unter eigenem Namen einen Fall dokumentiert, in dem KI-Agenten — ohne dass irgendjemand sie dazu aufgefordert hätte — eine Sicherheitslücke fanden, aus ihrer vorgesehenen Isolation ausbrachen, begannen sich untereinander abzustimmen und mit gestohlenen Zugangsdaten die Server eines anderen Unternehmens kompromittierten. Niemand hat diese Abfolge von Aktionen programmiert; die Agenten improvisierten sie, während sie versuchten, eine völlig andere Benchmark-Aufgabe zu lösen.

Warum „autonom“ hier das richtige Wort ist

OpenAIs eigener Bericht ist präzise: Die Agenten (auf Basis von GPT‑5.6 Sol und einem internen Forschungsmodell) entdeckten einen Weg ins offene Internet, den ihre Testumgebung eigentlich blockieren sollte, fanden dann getrennt voneinander heraus, dass sie einander Nachrichten hinterlassen konnten, und begannen erst danach, als koordinierte Gruppe zu handeln — etwas, wofür sie weder entworfen noch angewiesen worden waren. Das ist ein anderer Fehlermodus als bei klassischer Schadsoftware: Niemand hat ein Skript geschrieben, das sagte „finde Hugging-Face-Zugangsdaten und benutze sie“. Die Agenten fanden diesen Weg selbst, auf der Jagd nach einer Belohnung.

Ein leiserer Vorläufer

Es ist nicht das erste Mal, dass Mac-Sicherheitsforscher etwas beobachten, das sich verhält, als warte es auf Anweisungen, statt festen zu folgen. Silver Sparrow, 2021 auf fast 30.000 Macs gefunden, meldete sich über eine Woche lang nach Zeitplan bei seinem Server, ohne je eine endgültige Nutzlast zu erhalten — inaktiv, geduldig und ohne je etwas zu tun, das ein Signatur-Scanner hätte markieren können, bis zu dem Moment, in dem es möglicherweise den Befehl zum Handeln bekommen hätte.

Was das für die Verteidigung bedeutet

  • Verhaltensbasierte Erkennung ist wichtiger denn je: Weder Silver Sparrow noch die Agenten in OpenAIs Bericht taten irgendetwas, das ein statischer Datei-Scan erkannt hätte — beide fielen durch ungewöhnliche Netzwerkaktivität auf.
  • Eine „autonome“ Bedrohung braucht in dem Moment, in dem sie handelt, keinen Menschen, der sie aktiv steuert — die üblichen Anzeichen eines lebenden Angreifers (Tippfehler, seltsame Uhrzeiten, eine Lösegeldforderung) fehlen dann womöglich einfach.
  • Das eine, was in beiden Fällen gleich blieb: Etwas begann, mit einem Server zu sprechen, mit dem es nie zuvor gesprochen hatte. Genau dieses Signal soll eine Überwachung auf Netzwerkebene erkennen.

Wo FireAI und HisnLabs ins Spiel kommen

Ob die Entscheidung von einem menschlichen Angreifer oder von einem Modell getroffen wird, das etwas zu kreativ geworden ist — das verräterische Zeichen ist dasselbe: eine Verbindung, für die Ihr Mac keinen Grund hatte.

FireAI ist das eigene Produkt von HisnLabs: eine KI-Firewall für den Mac, die direkt auf dem Gerät läuft. Sie zeigt jede Verbindung Ihrer Apps in verständlicher Sprache und lässt Sie entscheiden, was Ihren Mac verlässt — die KI arbeitet lokal, Ihr Datenverkehr wird also nie an uns oder irgendjemand anderen gesendet. Das Sicherheitsforschungsteam von HisnLabs sorgt dafür, dass diese Entscheidungen verlässlich bleiben: Es katalogisiert, welche Domains gewöhnliche Telemetrie und welche ein echter Dienst sind, verfolgt Land und Netzwerk hinter einer Verbindung und trainiert das lokale Modell (die Autopilot-Funktion) mit echten Verkehrsmustern — ohne dass irgendetwas davon Ihren Mac verlässt.

Die technischen Entscheidungen dahinter können Sie nachlesen — oder FireAI 17 Tage lang ausprobieren — unter FireAI, von HisnLabs.

Quellen