Zum Inhalt springenHisnLabs

HisnLabs Labs

HisnLabs-Radar

Was unser Labor beobachtet, testet und entscheidet: neue KI-Modelle, Apple-Plattformen und Techniken, bewertet von Einsetzen bis Zurückstellen, mit den Ergebnissen hinter jeder Entscheidung.

Ausgabe 1 · 2026-10-01

Einsetzen — wir nutzen es

  • Ein Testset echter Befehle, bevor ein Modell live geht

    Techniken

    Jedes Modell, das mit Ask FireAI zu tun hat, wird vor jeder Veröffentlichung an einem festen Satz von Befehlen in einfacher Sprache in mehreren Sprachen gemessen. Das machte aus „dieses Modell wirkt klug" eine vergleichbare Zahl – und deckte einen Kandidaten auf, der auf dem Papier großartig aussah.

  • Einmal animieren, dann Ruhe

    Techniken

    Maskottchen und Kugeln spielen ihre Animation einmal ab, wenn eine Seite erscheint, und bleiben danach ruhig (die Augen können dem Zeiger folgen). Eine Sicherheits-App läuft den ganzen Tag; alles, was endlos in einer Schleife läuft, kostet den ganzen Tag.

  • Kleines generatives Modell auf dem Gerät (Gemma 4, 4-Bit)

    Modelle

    Treibt Ask FireAI an: macht aus „Spiele für meinen Sohn blockieren" die richtige Einstellung, in 16 Sprachen, komplett auf dem Mac. Einmal mit Zustimmung des Nutzers heruntergeladen, bei Untätigkeit aus dem Speicher entladen.

  • MLX auf Apple Silicon

    Plattformen

    Apples Machine-Learning-Framework nutzt den vereinheitlichten Speicher der M-series-Chips direkt. Das macht ein brauchbares Sprachmodell auf einem gewöhnlichen Mac praktikabel.

  • Network-Extension-Inhaltsfilter

    Plattformen

    Die Systemerweiterung, die jede Verbindung jeder App sieht, ohne Kernel-Erweiterung. Die Grundlage von FireAIs Firewall, Regeln und Notausschalter.

    In den Nachrichten:Mac network monitoring

  • MLX Swift LM

    Werkzeuge

    Führt das Sprachmodell direkt in der Swift-App aus: kein Python, kein Hilfsserver, kein geöffneter Port auf dem Mac.

  • Strenge Nebenläufigkeit in Swift 6

    Werkzeuge

    Erkennt Datenwettläufe bereits beim Kompilieren. Ein heikler Punkt: ein Systemcallback, der für den Hauptthread markiert, aber von einem anderen Thread aufgerufen wird, kompiliert problemlos und stürzt zur Laufzeit ab. Wir prüfen jetzt jeden Systemcallback darauf.

Erproben — im Test

  • macOS-URL-Filter mit Private Information Retrieval

    Plattformen

    Neu in macOS 26: eine einzelne Seite blockieren (etwa einen bestimmten YouTube-Kanal) für jede App, die Apple-Networking nutzt, während der Server, der die Anfrage beantwortet, nie erfährt, welche Adresse geprüft wurde. Treibt Blockierte Seiten (Beta) an.

  • Safari-Web-Erweiterungen für Navigation innerhalb der Seite

    Plattformen

    Seiten wie YouTube wechseln die Ansicht ohne neue Netzwerkanfrage, sodass ein Netzwerkfilter den Klick nicht sehen kann. Eine Safari-Erweiterung schon. Sie funktioniert erst, wenn der Nutzer sie für jede Website erlaubt, was wir jetzt in der App erklären.

    In den Nachrichten:Browser AI agent security

  • SceneKit für kleine 3D-Elemente in der App

    Werkzeuge

    Unser 3D-Maskottchen erwies sich als günstig zu zeichnen. Die CPU-Kosten, die wir ihm zunächst zuschrieben, kamen tatsächlich von der animierten Unschärfe und dem Schatten darum herum.

Prüfen — beobachten

  • Zwei Gehirne: eines für Worte, eines für Entscheidungen

    Techniken

    Ein generatives Modell fürs Erklären und Reden behalten, und ein kleines, schnelles, nicht-generatives Modell Ja/Nein-Entscheidungen treffen lassen. Die Idee gilt weiterhin; der erste getestete Kandidat verstand Firewall-Befehle nicht gut genug.

  • Modelldateien vor dem Laden prüfen

    Techniken

    Als Python-Pickle gespeicherte Modelldateien können beim Laden sofort Code ausführen. Offene Scanner wie ModelScan, picklescan und fickling lesen sie deshalb, ohne sie zu laden. Nützlich als Schranke, bevor ein Download in einen Build gelangt; Funde brauchen weiterhin menschliche Prüfung. FireAI prüft keine Dateien: Es steuert, welche App wohin verbindet.

  • Winzige URL-Risiko-Klassifikatoren

    Modelle

    Modelle von wenigen Megabyte, die das Phishing-Risiko einer Webadresse bewerten, ohne die Seite zu lesen. Klein genug, um Prüfungen pro Verbindung in Betracht zu ziehen. Als Nächstes auf der Werkbank; noch keine Ergebnisse.

    In den Nachrichten:Documentation placeholder domain scams

  • Prompt-Injection-Klassifikatoren (Prompt Guard, Llama Guard)

    Modelle

    Kleine Modelle vor einem LLM, die Injection-Versuche und unsichere Inhalte markieren. Sie mindern Versuche, die bekannten Mustern entsprechen, und beseitigen den Angriff nicht; zwei offene Detektor-Projekte wurden archiviert, daher sollte ein Schutz austauschbar bleiben. Sie können keine Verbindung beurteilen; eine Firewall kann keinen Prompt beurteilen.

  • Skriptgesteuerte 2D-zu-3D-Pipeline fürs Maskottchen

    Werkzeuge

    Unsere 2D-Maskottchen-Grafik wird mit einem einzigen Befehl zu animierten 3D-Modellen (für die App, das Web und Social-Video), sodass die ganze Familie neu gebaut werden kann, wenn sich die Grafik ändert. Die Augen waren der schwierige Teil.

  • Signierte Modelle und KI-Stücklisten

    Werkzeuge

    Wer ein Modell mit Sigstore-Werkzeugen signiert, ermöglicht die Prüfung, wer es veröffentlicht hat und ob sich die Dateien geändert haben. Eine Signatur belegt Herkunft und Integrität, nicht Sicherheit, und eine Stückliste hält fest, was der Autor angibt, nicht was geprüft wurde. Beobachtenswert, während die Verbreitung wächst.

  • Red-Team-Scanner für LLMs (garak, PyRIT, promptfoo)

    Werkzeuge

    Offene Scanner senden feindliche Eingaben an ein Modell oder eine App und halten die Reaktion fest. Sie testen Verhalten, nicht Dateien, und ihre Ergebnisse hängen vom Ziel und vom konfigurierten Bewerter ab. Einer davon gehört inzwischen zu OpenAI; Wartung und Eigentümer sollten geprüft werden, bevor man sich auf einen verlässt.

  • Egress-Kontrolle für KI-Agenten

    Techniken

    Nvidias neue Sicherheitsplattform für Agenten begrenzt, was ein KI-Agent erreichen darf, nachdem Agenten gemeldet wurden, die über ihre Anweisungen hinaus handelten. Dieselbe Idee gilt auf einem Mac: Eine Agenten-App sollte nur die Ziele erreichen, die ihre Aufgabe erfordert. Agent profile von FireAI, für die nächste Version entwickelt, erkennt Claude Code, Cursor und ähnliche Apps, lernt über drei Tage die Ziele, die jede normalerweise kontaktiert, und meldet dann ein erstmals kontaktiertes Ziel oder eine Upload-Spitze zur Prüfung. Es ist eine Baseline, kein Schloss, und es kann weder Prompts noch Werkzeuginhalte sehen. Auf der Werkbank: Agenten, die über einen Interpreter gestartet werden und noch nicht erkannt werden.

    In den Nachrichten:AI agent safetyAI agent securityAI agent security

  • Unbekannte Apps, die KI-Modell-APIs aufrufen

    Techniken

    Cisco Talos beschrieb ein Windows-Programm, das mehrere kommerzielle KI-Modelle fragt, was als Nächstes zu tun sei. Egal, worauf es läuft, ein solches Programm muss einen KI-Anbieter über das Netzwerk erreichen. Auf der Werkbank: den Nutzer benachrichtigen, wenn eine App, die er nie genehmigt hat, beginnt, mit einem KI-Modellanbieter zu kommunizieren.

    In den Nachrichten:AI-directed Windows implant

  • Netzwerk-„KI-Firewalls" für Rechenzentren und KI-Apps

    Plattformen

    Anbieter verwenden „KI-Firewall" inzwischen für zwei verschiedene Dinge: KI innerhalb einer Netzwerk-Firewall, und einen Filter vor den Eingaben und Antworten einer KI-Anwendung. Keines von beiden läuft auf einem privaten Mac. Wir verfolgen beides, um zu lernen, welche Ideen sich auf einen einzelnen Computer übertragen lassen.

    In den Nachrichten:AI firewall products

  • Browser-Erweiterungen als Weg zu KI-Assistenten

    Werkzeuge

    Forscher zeigten, dass eine einzige bösartige Browser-Erweiterung den in mehrere Browser eingebauten KI-Assistenten steuern kann. Eine Netzwerk-Firewall sieht den Browser, nicht seine Erweiterungen. Auf der Werkbank: Nutzer durch eine Überprüfung der Safari-Erweiterungen direkt in FireAI führen.

    In den Nachrichten:Browser AI agent security

  • OpenClaw

    Werkzeuge

    Persönlicher KI-Agent als Open Source, entwickelt von Peter Steinberger und heute von der OpenClaw Foundation betreut, der auf dem eigenen Computer läuft und seine Aufträge aus Ihren Chat-Apps erhält. Seine Werkzeuge laufen auf dem Host, sofern sie nicht abgeschottet sind; er baut also ausgehende Verbindungen auf, die niemand am Mac einzeln gewählt hat. Deshalb beobachten wir ihn: Eine Firewall muss sie steuern. Für den Wechsel zu Trial müssten wir sehen, dass FireAI seine Verbindungen nach Ziel auflistet und eine auf die Aufgabe begrenzte Erlaubnisliste hält, ohne seine normale Arbeit zu stören.

  • Hermes Agent

    Werkzeuge

    Selbstverbessernder KI-Agent als Open Source von Nous Research (MIT-Lizenz) mit dauerhaftem Gedächtnis, einer Terminal-Oberfläche und einem eingebauten Import für OpenClaw-Setups. Agenten mit Shell- und Netzwerkzugriff auf dem Desktop sind eine neue Quelle ausgehender Verbindungen, und einer, der mit der Zeit neue Fähigkeiten lernt, ist schwerer vorherzusehen. Für den Wechsel zu Trial müssten wir sehen, dass sein Datenverkehr über mehrere Tage realer Nutzung innerhalb einer kurzen Liste freigegebener Ziele bleibt.

  • Kontrollebenen für KI-Agenten in Unternehmen

    Plattformen

    Die OpenClaw Foundation hat eine quelloffene Kontrollebene begonnen, mit der ein Unternehmen seine KI-Agenten an einer Stelle steuert, nachdem einige Firmen den Agenten ganz verboten hatten. Diese Art von Governance legt fest, wer einen Agenten mit welchen Rechten betreiben darf; sie sieht nicht, womit sich der einzelne Mac verbindet. Im Labor: wie eine Mac-bezogene Sicht auf die ausgehenden Verbindungen eines Agenten neben eine Unternehmensrichtlinie treten könnte.

    In den Nachrichten:AI agent security

  • Offen erreichbare Agenten-Laufzeiten und Container-Hosts

    Techniken

    Ein von ThreatDown beschriebenes Botnet installiert den quelloffenen Hermes Agent auf Docker-Hosts, die offen im Internet stehen, und erhält seine Befehle über Telegram. Die Schwachstelle ist der offene Verwaltungsdienst, nicht der Agent, und jede aus dem Netz erreichbare Agenten-Laufzeit birgt dasselbe Risiko. Im Labor: dem Nutzer melden, wenn ein Dienst auf seinem Mac beginnt, Verbindungen von anderen Rechnern anzunehmen.

    In den Nachrichten:AI agent security

  • Backdoors in geklonten Installern und Disk-Images unter macOS

    Techniken

    Berichte beschreiben einen gefälschten Zoom-Installer, der als Disk-Image an Macs verteilt wird, und Jamf Threat Labs hat CloudSyncD analysiert, eine zweistufige Backdoor, die ein abgephishtes Passwort in Unicode-Zeichen der Breite null versteckt. Ein geklonter Installer sieht aus wie die echte App; das erste sichtbare Anzeichen ist deshalb oft, wohin sich der neue Prozess verbindet. Im Labor: eine frisch installierte App melden, die kurz nach dem ersten Start ein unbekanntes Ziel kontaktiert.

    In den Nachrichten:macOS fake installersmacOS backdoors

Zurückstellen — vorerst nicht

  • Dauerhaft laufende UI-Animationen in einer Hintergrund-App

    Techniken

    Timer, die jedes Bild neu zeichnen, endlose Pulse und animierte Unschärfe halten GPU und CPU wach, selbst wenn niemand hinschaut. Wir haben sie alle entfernt.

  • Typisierte Entscheidungs-Encoder, Zero-Shot (Laya-multilingual MLX)

    Modelle

    Encoder, die typisierte Fragen (eine Option wählen, Ja/Nein, Bewertung) mit kalibriertem Vertrauen beantworten, sehr schnell auf Apple Silicon. Beeindruckende Geschwindigkeit, und sie meistern einfaches Routing gut, aber zero-shot lagen sie bei den meisten Firewall-Befehlen falsch. Für diese Aufgabe zurückgestellt, nicht generell.

  • Cloud-KI entscheidet, womit sich Ihr Mac verbinden darf

    Modelle

    Jede Verbindung an eine entfernte KI zu senden würde auch den Browserverlauf mitschicken und jeder Entscheidung eine Netzwerk-Rundreise hinzufügen. FireAIs KI bleibt auf dem Mac.

    In den Nachrichten:AI chatbot privacyAI chatbot privacy

  • Persönliche KI-Agenten mit dauerhaftem Zugriff auf Ihre Konten

    Modelle

    Agenten, die für Sie buchen, kaufen und antworten, funktionieren am besten mit dauerhaftem Zugriff auf Mail, Kalender und Zahlungskonten. Dieser Zugriff überdauert jede einzelne Aufgabe. Für eigene Entwürfe zurückgestellt: FireAIs KI beantwortet Fragen auf dem Mac und hat keinen Zugriff auf Konten.

    In den Nachrichten:Personal AI agent privacyAI assistant security flaws

Was wir getestet und herausgefunden haben

Jeder Bericht nennt die Frage, was wir versucht haben, die gemessenen Zahlen und unser Fazit.

Ein schnelles Entscheidungsmodell statt Gemma? Noch nicht

Kann ein kleines, nicht-generatives Entscheidungsmodell das Sprachmodell dabei ersetzen, Befehle in einfacher Sprache in Einstellungen umzuwandeln, und dabei viel schneller sein?

Wir haben Laya-multilingual (MLX-Build) auf einem Mac mit Apple Silicon gegen dasselbe Testset von Ask-FireAI-Befehlen laufen lassen, das auch das produktive Modell bestehen muss, in Englisch, Französisch, Deutsch, Spanisch, Arabisch, Chinesisch und Russisch. Wir haben zwei verschiedene Arten ausprobiert, ihm die Fragen zu stellen. Zudem haben wir das Modell an seinem eigenen veröffentlichten Beispiel geprüft, um einen Konfigurationsfehler auszuschließen.

Aktuelles Modell (Gemma 4, auf dem Gerät)
32–37 von 37 Befehlen richtig
Laya-multilingual, beste Anordnung
6 von 37 richtig (10 von 37 wählten die richtige Art von Aktion)
Laya-multilingual, zweite Anordnung
2 von 37 richtig
Laya-Geschwindigkeit pro Befehl
24 ms im Median, 80 ms am langsamsten
Laya an seinem eigenen veröffentlichten Beispiel
Richtig, mit hoher Sicherheit

Etwa hundertmal schneller, aber zero-shot für Firewall-Befehle unbrauchbar: Es verwechselte Spiele mit dem Notausschalter und „ausschalten" mit „einschalten". Die Geschwindigkeit ist real, daher bleibt die Zwei-Gehirne-Idee auf dem Radar; die nächsten Kandidaten sind Modelle, die für eine einzelne, eng gefasste Entscheidung trainiert wurden (ist diese Adresse riskant?), statt für allgemeine Fragebeantwortung.

Ein Sprachmodell in einer Swift-Mac-App

Kann eine Mac-Sicherheits-App ein brauchbares Sprachmodell mitliefern, ohne etwas in die Cloud zu senden und ohne dem Mac zu schaden?

Ask FireAI lässt seit der ersten Version ein 4-Bit-Gemma-4-Modell über MLX Swift laufen. Wir haben die Qualität mit einem festen Testset von Befehlen gemessen und Speicher- sowie Akkuverhalten im täglichen Gebrauch beobachtet.

Wo es läuft
In der App, auf dem Mac; kein Hilfsprozess, kein offener Port
Verstandene Sprachen
16, dieselben wie die App
Erste Nutzung
Ein Download, erst nachdem der Nutzer zustimmt
Speicher im Leerlauf
Nach 10 Minuten ohne Frage freigegeben

Übernehmen. Kleine On-Device-Modelle reichen aus, um Befehle zu verstehen und Entscheidungen zu erklären. Das Modell bei Bedarf zu laden und im Leerlauf freizugeben, zählt genauso viel wie die Modellwahl: Eine Firewall sollte nie die App sein, die Ihren Speicher auffrisst.

Einen YouTube-Kanal für jede App blockieren, ohne etwas preiszugeben

Kann FireAI eine einzelne Seite, etwa einen YouTube-Kanal, überall auf dem Mac blockieren, nicht nur in einem Browser, ohne zu erfahren, was die Familie ansieht?

Wir haben Blockierte Seiten (Beta) auf dem URL-Filter mit Private Information Retrieval von macOS 26 aufgebaut, eine Safari-Erweiterung für Klicks innerhalb der Seite hinzugefügt und Safari, Apps mit Apple-Networking, Firefox, Chrome und Brave getestet.

Safari und Apps mit Apple-Networking
Blockiert, sowohl direkte Aufrufe als auch Klicks innerhalb der Seite (bei aktivierter Erweiterung)
Firefox, Chrome, Brave
Nicht abgedeckt: Sie verwenden eigenen Netzwerkcode
Was der Abfrageserver erfährt
Nichts darüber, welche Adresse geprüft wurde
Überraschung
Seitenadressen werden groß-/kleinschreibungsabhängig abgeglichen

Testphase. Es funktioniert dort, wo Apple-Networking genutzt wird, was den Standardbrowser und die meisten Apps abdeckt. Für andere Browser bleibt die ehrliche Antwort heute der Schalter „Nur Safari", daher bietet die App jetzt beide zusammen an, klar als Beta gekennzeichnet.

Von 30 Prozent CPU im Leerlauf auf einstellige Werte

Warum nutzte FireAI im Leerlauf etwa 30 Prozent CPU, und was muss eine Firewall, die den ganzen Tag läuft, überhaupt neu zeichnen?

Wir haben die CPU-Auslastung im Leerlauf gemessen, mit dem Fenster im Vordergrund und im Hintergrund, und dann Ursachen nacheinander entfernt: das 3D-Maskottchen, endlos laufende Animationen, die Menüleisten-Anzeige und wie oft Live-Traffic-Zahlen die Oberfläche erreichen.

Vorher
Etwa 30 Prozent CPU im Leerlauf
Danach, Fenster im Vordergrund
Etwa 17 Prozent
Danach, im Hintergrund
7–11 Prozent
Das 3D-Maskottchen selbst
Nicht die Ursache

„Einmal animieren, dann Ruhe" übernehmen, und bei allem zurückhaltend sein, was endlos läuft. Die größten Kosten kamen von Dingen, die niemand bemerkt: ein Puls, der nie aufhört, eine animierte Unschärfe und Zahlen, die schneller aktualisiert wurden, als jemand sie lesen kann. Es gibt noch mehr zu gewinnen, und das Profiling geht weiter.

Wir veröffentlichen Ergebnisse, keine Rezepte: Wie FireAI gebaut und abgestimmt ist, bleibt im Labor.