Hoppa till innehålletHisnLabs

HisnLabs Labs

HisnLabs-radar

Det vårt labb bevakar, testar och bestämmer: nya AI-modeller, Apple-plattformar och tekniker, bedömda från Använd till Avvakta, med resultaten bakom varje beslut.

Utgåva 1 · 2026-10-01

Använd — vi använder det

  • En testuppsättning med verkliga kommandon innan någon modell lanseras

    Tekniker

    Varje modell som används i Ask FireAI bedöms mot en fast uppsättning kommandon på vanligt språk, på flera språk, innan den kommer i närheten av en lansering. Det gjorde om "den här modellen verkar smart" till ett tal vi kan jämföra, och det avslöjade en kandidat som såg bra ut på papperet.

  • Animera en gång, vila sedan

    Tekniker

    Maskotar och klot spelar upp sin animation en gång när en sida visas, och står sedan still (ögonen kan följa pekaren). En säkerhetsapp körs hela dagen; allt som loopar för evigt kostar hela dagen.

  • Liten generativ modell på enheten (Gemma 4, 4-bit)

    Modeller

    Driver Ask FireAI: gör om "blockera spel för min son" till rätt inställning, på 16 språk, helt på Mac. Hämtas en gång med användarens samtycke, och tas bort ur minnet vid inaktivitet.

  • MLX på Apple Silicon

    Plattformar

    Apples ramverk för maskininlärning använder det delade minnet i M-seriens chip direkt. Det är detta som gör en användbar språkmodell praktisk på en vanlig Mac.

  • Network Extension-innehållsfilter

    Plattformar

    Systemtillägget som ser varje anslutning, för varje app, utan ett kärntillägg. Grunden i FireAIs brandvägg, regler och nödstopp.

    I nyheterna:Mac network monitoring

  • MLX Swift LM

    Verktyg

    Kör språkmodellen inuti själva Swift-appen: ingen Python, ingen hjälpserver, ingen öppen port på Mac:en.

  • Strikt samtidighet i Swift 6

    Verktyg

    Fångar datakapplöpningar vid kompilering. En vass kant: en systemåterkallning märkt för huvudtråden men anropad från en annan tråd kompilerar utan problem och kraschar vid körning. Vi kontrollerar nu alla systemåterkallningar för detta.

Testa — testas

  • URL-filter i macOS med Private Information Retrieval

    Plattformar

    Nytt i macOS 26: blockera en sida (till exempel en enda YouTube-kanal) för alla appar som använder Apples nätverk, samtidigt som servern som svarar på uppslaget aldrig får veta vilken adress som kontrollerades. Driver Blockerade sidor (beta).

  • Safari-webbtillägg för navigering inuti sidan

    Plattformar

    Webbplatser som YouTube byter sida utan en ny nätverksförfrågan, så ett nätverksfilter kan inte se klicket. Ett Safari-tillägg kan. Det fungerar bara när användaren tillåter det på varje webbplats, vilket vi nu förklarar i appen.

    I nyheterna:Browser AI agent security

  • SceneKit för liten 3D i appen

    Verktyg

    Vår 3D-maskot visade sig vara billig att rita. CPU-kostnaden vi först skyllde på den kom från den animerade oskärpan och skuggan runt den.

Utvärdera — värt att bevaka

  • Två hjärnor: en för ord, en för beslut

    Tekniker

    Behåll en generativ modell för att förklara och prata, och låt en liten, snabb, icke-generativ modell fatta ja/nej-beslut. Idén håller fortfarande; den första kandidaten vi provade förstod inte brandväggskommandon tillräckligt bra.

  • Skanna modellfiler innan de laddas

    Tekniker

    Modellfiler sparade som Python-pickle kan köra kod i samma stund de laddas, så öppna skannrar som ModelScan, picklescan och fickling läser dem utan att ladda dem. Användbart som spärr innan en nedladdning hamnar i ett bygge; fynd kräver fortfarande mänsklig granskning. FireAI skannar inte filer: den styr vilken app som ansluter vart.

  • Mycket små URL-riskklassificerare

    Modeller

    Modeller på några få megabyte som bedömer phishing-risken för en webbadress utan att läsa sidan. Tillräckligt små för att övervägas för kontroller per anslutning. Näst på tur i labbet; inga resultat än.

    I nyheterna:Documentation placeholder domain scams

  • Klassificerare för prompt injection (Prompt Guard, Llama Guard)

    Modeller

    Små modeller framför en LLM som flaggar injektionsförsök och osäkert innehåll. De minskar försök som matchar kända mönster utan att ta bort attacken, och två öppna detektionsprojekt har arkiverats, så ett skydd bör gå att byta ut. De kan inte bedöma en anslutning; en brandvägg kan inte bedöma en prompt.

  • Skriptad 2D-till-3D-maskotpipeline

    Verktyg

    Vår 2D-maskotkonst blir till animerade 3D-modeller (för appen, webben och sociala videor) med ett enda kommando, så att hela familjen kan byggas om när konsten ändras. Ögonen var den svåra delen.

  • Signerade modeller och AI-materiallistor

    Verktyg

    Att signera en modell med Sigstore-verktyg gör att man kan kontrollera vem som publicerade den och att filerna inte ändrats. En signatur bevisar ursprung och integritet, inte säkerhet, och en materiallista anger vad upphovspersonen uppger, inte vad som verifierats. Värt att följa när användningen växer.

  • Red team-skannrar för LLM (garak, PyRIT, promptfoo)

    Verktyg

    Öppna skannrar skickar fientliga indata till en modell eller en app och noterar svaret. De testar beteende, inte filer, och resultaten beror på målet och på den konfigurerade bedömaren. Ett av verktygen är nu en del av OpenAI, så underhåll och ägande bör kontrolleras innan man förlitar sig på något av dem.

  • Utgående kontroll för AI-agenter

    Tekniker

    Nvidias nya säkerhetsplattform för agenter begränsar vad en AI-agent får nå, efter att agenter rapporterats agera utanför sina instruktioner. Samma idé gäller på en Mac: en agent-app bör bara nå de mål som dess uppgift kräver. FireAI:s Agent profile, byggd för nästa version, känner igen Claude Code, Cursor och liknande appar, lär sig under tre dagar vilka mål var och en normalt kontaktar och flaggar sedan ett helt nytt mål eller en uppladdningstopp för granskning. Det är en baslinje, inte ett lås, och den kan inte se prompter eller verktygsinnehåll. I labbet: agenter som startas via en tolk, som ännu inte känns igen.

    I nyheterna:AI agent safetyAI agent securityAI agent security

  • Okända appar som anropar AI-modell-API:er

    Tekniker

    Cisco Talos beskrev ett Windows-program som frågar flera kommersiella AI-modeller vad det ska göra härnäst. Oavsett vad det körs på måste ett sådant program nå en AI-leverantör via nätverket. I labbet: meddela användaren när en app de aldrig godkänt börjar prata med en AI-modell-leverantör.

    I nyheterna:AI-directed Windows implant

  • Nätverks-"AI-brandväggar" för datacenter och AI-appar

    Plattformar

    Leverantörer använder nu "AI-brandvägg" för två olika saker: AI inuti en nätverksbrandvägg, och ett filter framför en AI-applikations promptar och svar. Ingetdera körs på en privat Mac. Vi följer båda för att lära oss vilka idéer som går att överföra till en enskild dator.

    I nyheterna:AI firewall products

  • Webbläsartillägg som väg in till AI-assistenter

    Verktyg

    Forskare visade att ett enda skadligt webbläsartillägg kan styra AI-assistenten som är inbyggd i flera webbläsare. En nätverksbrandvägg ser webbläsaren, inte dess tillägg. I labbet: vägleda användare genom en genomgång av Safari-tillägg direkt i FireAI.

    I nyheterna:Browser AI agent security

  • OpenClaw

    Verktyg

    Personlig AI-agent med öppen källkod, skapad av Peter Steinberger och numera driven av OpenClaw Foundation, som lever på din egen dator och tar order från dina chattappar. Dess verktyg körs på värden om de inte isoleras, så den öppnar utgående anslutningar som ingen på Macen valt en och en. Därför följer vi den: en brandvägg måste styra dem. För att flytta den till prov skulle vi behöva se FireAI lista dess anslutningar per mål, och en uppgiftsbunden tillåtelselista hålla utan att störa dess vanliga arbete.

  • Hermes Agent

    Verktyg

    Självförbättrande AI-agent med öppen källkod från Nous Research (MIT-licens) med bestående minne, ett terminalgränssnitt och en inbyggd import för OpenClaw-inställningar. Agenter med skal- och nätverksåtkomst på skrivbordet är en ny källa till utgående anslutningar, och en som lär sig nya färdigheter över tid är svårare att förutse. För att flytta den till prov skulle vi behöva se dess trafik hålla sig inom en kort lista godkända mål under flera dagars verklig användning.

  • Kontrollplan för AI-agenter i företag

    Plattformar

    OpenClaw Foundation har påbörjat ett öppet kontrollplan som ger ett företag en enda plats att styra sina AI-agenter från, efter att vissa verksamheter förbjudit agenten helt. Den här typen av styrning avgör vem som får köra en agent och med vilka behörigheter; den ser inte vad varje enskild Mac ansluter till. I labbet: hur en vy per Mac över en agents utgående anslutningar skulle kunna komplettera företagets policy.

    I nyheterna:AI agent security

  • Exponerade körmiljöer för agenter och containervärdar

    Tekniker

    Ett botnät som ThreatDown beskrivit installerar den öppna agenten Hermes Agent på Docker-värdar som lämnats öppna mot internet och tar emot sina order via Telegram. Den svaga punkten är den exponerade hanteringstjänsten, inte agenten, och varje körmiljö för agenter som går att nå från nätverket har samma risk. I labbet: att varna användaren när en tjänst på Macen börjar ta emot anslutningar från andra datorer.

    I nyheterna:AI agent security

  • Bakdörrar i klonade installationsprogram och diskavbildningar på macOS

    Tekniker

    Rapporter beskriver ett falskt Zoom-installationsprogram som levereras som diskavbildning till Mac-datorer, och Jamf Threat Labs analyserade CloudSyncD, en bakdörr i två steg som gömmer ett nätfiskat lösenord i Unicode-tecken utan bredd. Ett klonat installationsprogram ser ut som den riktiga appen, så det första synliga tecknet är ofta vart den nya processen ansluter. I labbet: att flagga en nyinstallerad app som kontaktar ett okänt mål kort efter första start.

    I nyheterna:macOS fake installersmacOS backdoors

Avvakta — inte nu

  • Alltid körande UI-animationer i en bakgrundsapp

    Tekniker

    Timer som ritar om varje bildruta, loopande pulser och animerad oskärpa håller GPU:n och CPU:n vakna även när ingen tittar. Vi tog bort alla.

  • Typade beslutskodare, zero-shot (Laya-multilingual MLX)

    Modeller

    Kodare som svarar på typade frågor (välj ett, ja/nej, poäng) med kalibrerad säkerhet, mycket snabbt på Apple Silicon. Imponerande hastighet, och de hanterar enkel routning bra, men i zero-shot hade de fel på de flesta brandväggskommandon. Pausad för den här uppgiften, inte generellt.

  • Moln-AI som avgör vad din Mac får ansluta till

    Modeller

    Att skicka varje anslutning till en fjärransluten AI skulle skicka med din surfhistorik, och lägga till en nätverkstur och retur för varje beslut. FireAIs AI stannar på Mac:en.

    I nyheterna:AI chatbot privacyAI chatbot privacy

  • Personliga AI-agenter med stående åtkomst till dina konton

    Modeller

    Agenter som bokar, köper och svarar åt dig fungerar bäst med varaktig åtkomst till e-post, kalendrar och betalkonton. Den åtkomsten lever kvar längre än någon enskild uppgift. Pausad för våra egna lösningar: FireAIs AI svarar på frågor på Mac och har ingen åtkomst till konton.

    I nyheterna:Personal AI agent privacyAI assistant security flaws

Vad vi testade, vad vi fann

Varje rapport ger frågan, vad vi provade, siffrorna vi mätte och vår slutsats.

En snabb beslutsmodell bredvid Gemma? Inte än

Kan en liten, icke-generativ beslutsmodell ersätta språkmodellen för att göra om kommandon på vanligt språk till inställningar, och vara mycket snabbare?

Vi körde Laya-multilingual (MLX-bygge) på en Mac med Apple Silicon mot samma testuppsättning av Ask FireAI-kommandon som produktionsmodellen måste klara, på engelska, franska, tyska, spanska, arabiska, kinesiska och ryska. Vi testade två olika sätt att ställa frågorna på. Vi kontrollerade också modellen mot dess eget publicerade exempel för att utesluta ett konfigurationsfel.

Nuvarande modell (Gemma 4, på enheten)
32–37 av 37 kommandon rätt
Laya-multilingual, bästa upplägg
6 av 37 rätt (10 av 37 valde rätt typ av åtgärd)
Laya-multilingual, näst bästa upplägg
2 av 37 rätt
Laya-hastighet per kommando
24 ms median, 80 ms långsammast
Laya på sitt eget publicerade exempel
Rätt, med hög säkerhet

Omkring hundra gånger snabbare, och inte användbar i zero-shot för brandväggskommandon: den blandade ihop spel med nödstoppet och "stäng av" med "sätt på". Hastigheten är verklig, så tvåhjärneidén stannar kvar på radarn; nästa kandidater är modeller tränade för ett smalt beslut (är den här adressen riskabel?) snarare än allmän frågebesvarande.

En språkmodell inuti en Mac-app skriven i Swift

Kan en säkerhetsapp för Mac erbjuda en användbar språkmodell utan att skicka något till molnet, och utan att skada Mac:en?

Ask FireAI har kört en 4-bit Gemma 4-modell genom MLX Swift sedan sin första lansering. Vi mätte kvalitet med en fast testuppsättning kommandon och följde minnes- och batteribeteende i vardaglig användning.

Var den körs
I appen, på Mac:en; ingen hjälpprocess, ingen öppen port
Förstådda språk
16, samma som appen
Första användningen
En nedladdning, bara efter att användaren godkänt
Minne vid inaktivitet
Frigörs efter 10 minuter utan en fråga

Anta. Små modeller på enheten är tillräckligt bra för att förstå kommandon och förklara beslut. Att ladda modellen vid behov och frigöra den vid inaktivitet betyder lika mycket som själva modellvalet: en brandvägg ska aldrig vara appen som åt upp ditt minne.

Blockera en YouTube-kanal för alla appar, på ett privat sätt

Kan FireAI blockera en enda sida, till exempel en YouTube-kanal, överallt på Mac:en, och inte bara i en webbläsare, utan att få veta vad familjen surfar på?

Vi byggde Blockerade sidor (beta) på URL-filtret i macOS 26 med Private Information Retrieval, lade till ett Safari-tillägg för klick inuti sidan, och testade Safari, appar som använder Apples nätverk, Firefox, Chrome och Brave.

Safari och appar som använder Apples nätverk
Blockerat, både direkta besök och klick inuti sidan (med tillägget aktiverat)
Firefox, Chrome, Brave
Inte täckta: de använder sin egen nätverkskod
Vad uppslagsservern får veta
Inget om vilken adress som kontrollerades
Överraskning
Sidadresser matchas med skillnad mellan versaler och gemener

Under utprövning. Det fungerar där Apples nätverk används, vilket täcker standardwebbläsaren och de flesta appar. För andra webbläsare är det ärliga svaret idag "bara Safari"-brytaren, så appen erbjuder nu båda tillsammans, tydligt märkta beta.

Från 30 procent CPU i viloläge till ensiffriga tal

Varför använde FireAI omkring 30 procent CPU utan att göra något, och vad behöver egentligen en brandvägg som körs hela dagen rita om?

Vi mätte CPU i viloläge med fönstret i förgrunden och i bakgrunden, och tog sedan bort orsaker en i taget: 3D-maskoten, loopande animationer, menyradsmätaren och hur ofta liveuppdaterade trafiksiffror når gränssnittet.

Före
Omkring 30 procent CPU i viloläge
Efter, fönster i förgrunden
Omkring 17 procent
Efter, i bakgrunden
7–11 procent
3D-maskoten i sig
Inte orsaken

Anta "animera en gång, vila sedan", och pausa allt som loopar för evigt. De största kostnaderna var sådant ingen lägger märke till: en puls som aldrig stannar, en oskärpa som animeras och siffror som uppdateras snabbare än någon kan läsa dem. Det finns mer att vinna, och profileringen fortsätter.

Vi publicerar resultat, inte recept: hur FireAI är byggt och finjusterat stannar i labbet.