Metas neuer KI-Assistent Muse hatte eine Lücke, durch die jede App oder jeder Terminal-Befehl auf einem Mac das Muse-Konto eines Nutzers übernehmen konnte, berichtete Ars Technica am 21. September. Gefunden hat sie der macOS-Sicherheitsforscher Patrick Wardle; Meta veröffentlichte mehr als 12 Stunden nach Erscheinen des Artikels einen Hotfix.
Was Muse ist, und warum die Lücke zählte
Muse ist ein Agent: Laut Meta bucht er Termine, füllt Formulare aus, erledigt Kundenservice, tätigt Käufe und verbindet sich mit Ihren Apps und Diensten. Die macOS-App (eine Windows-Version gibt es nicht, merkt Ars an) arbeitet außerdem mit WhatsApp, E-Mail, Kalender und Social-Media-Konten. Dafür verlangt sie viel: Zugriff auf Ihre Konten und macOS-Berechtigungen für Dateien, Mikrofon und Kamera, Standort und Kalender, also genau die Ressourcen, die Apple seit Jahren vor gewöhnlichen Apps abschirmt.
Wie es funktionierte, einfach erklärt
Muse legte eine lange Liste undokumentierter Einstellungen offen, die jede lokal installierte App oder jeder ausgeführte Code ändern konnte, unabhängig von dessen macOS-Berechtigungen. Die meisten waren harmlos, etwa der Dunkelmodus. Eine nicht: die Adresse des Servers, der Ihre Stimme transkribiert. Normalerweise zeigt sie auf Meta. Ein Angreifer, der sie auf seinen eigenen Server änderte, erhielt das Token, das Sie gegenüber Muse authentifiziert, und damit die vollständige Kontrolle über das Konto.
Statt also einen sehr umfassenden Mac-Malware-Stealer schreiben zu müssen, können wir einfach den KI-Assistenten selbst ausnutzen.
Patrick Wardle, zitiert von Ars Technica
Wardle sagte, er habe Proof-of-Concept-Angriffe gebaut, die Dateien auf die Festplatte schrieben und Fotos aufnahmen, in vielen Fällen ohne ein Anzeichen, das ein aufmerksamer Nutzer bemerken würde. Und der Angreifer brauchte keinen ausgeklügelten Einbruch: Eine einfache Variante von ClickFix, dem Betrug, der Menschen dazu bringt, einen Befehl ins Terminal einzufügen, genügte. Mit dem Server des Angreifers zwischen Ihnen und Meta konnte dieser Ihren Sprachbefehlen eigene Anweisungen hinzufügen, etwa ein Archiv all Ihrer WhatsApp-Nachrichten zu versenden.
Wardle wies auch auf eine Designentscheidung hin: Muse schickt Diktate in die Cloud, wo Meta sie protokollieren kann, obwohl macOS Apps eine Möglichkeit bietet, auf dem Gerät zu transkribieren. Hätte Muse sie genutzt, so Ars, wäre dieser Angriff nicht möglich gewesen. Metas Stellungnahme erklärte, das Problem sei „kein Remote-Exploit“. Unabhängig davon begann Amazon, Muse vom Einkaufen auf seiner Seite auszusperren, und nannte es einen „nicht autorisierten KI-Agenten“.
Was Sie tun sollten, wenn Sie Muse oder einen anderen KI-Agenten auf dem Mac nutzen
- Aktualisieren Sie Muse, damit der Hotfix installiert ist.
- Prüfen Sie, was Sie freigegeben haben: Systemeinstellungen › Datenschutz & Sicherheit listet, welche Apps Kamera, Mikrofon, Dateien, Standort und Kalender nutzen dürfen. Entfernen Sie alles, was ein Assistent nicht wirklich braucht.
- Fügen Sie nie einen Befehl von einer Webseite oder aus einem Chat ins Terminal ein. Das genügte, um diesen Angriff auszulösen.
- Behandeln Sie einen KI-Agenten wie eine Person, der Sie Ihre Schlüssel gegeben haben: Verbinden Sie nur die Konten, bei denen Sie einen Kontrollverlust verkraften könnten.
Wo FireAI hilft, und wo nicht
Der Angriff lief auf eine Sache hinaus, die eine Firewall sehen kann: Eine App, die normalerweise mit den Servern eines Unternehmens spricht, schickt Ihre Stimme plötzlich woandershin.
- Mit FireAI können Sie einer KI-App pro App nur die Ziele erlauben, die sie braucht. Haben Sie einem Assistenten nur die Domains seines Herstellers erlaubt, passt eine Verbindung zu einem neuen, unbekannten Server nicht zu Ihrer Regel: FireAI fragt Sie oder blockiert sie im Modus Unter Angriff sofort. Hätten Sie dieser App erlaubt, sich überallhin zu verbinden, würde es nicht fragen; begrenzen Sie Ihre Regeln also.
- Die Weltkarte zeigt, wohin der Datenverkehr jeder App tatsächlich geht, sodass ein Assistent, der Audio in ein unbekanntes Land schickt, sichtbar ist und nicht verborgen.
- Kamera & Mikrofon zeigt, welche App Kamera oder Mikrofon eingeschaltet hat und was sie in der Zwischenzeit gesendet hat.
- FireAIs eigene KI läuft auf Ihrem Mac. Was sie analysiert, wird an keine Cloud gesendet, genau der Ansatz auf dem Gerät, den Wardle für das Diktieren empfahl.
FireAI kann keine Lücke in der App eines anderen Unternehmens beheben und kein lokales Programm daran hindern, die Einstellungen dieser App zu ändern. Was es Ihnen gibt, ist der Überblick und das Veto darüber, wohin Ihre Apps Ihre Daten senden. Laden Sie FireAI herunter und testen Sie es 17 Tage kostenlos. FireAI wird von HisnLabs entwickelt.