Det vårt labb bevakar, testar och bestämmer: nya AI-modeller, Apple-plattformar och tekniker, bedömda från Använd till Avvakta, med resultaten bakom varje beslut.
Utgåva 1 · 2026-09-28
Använd — vi använder det
En testuppsättning med verkliga kommandon innan någon modell lanseras
Tekniker
Varje modell som används i Ask FireAI bedöms mot en fast uppsättning kommandon på vanligt språk, på flera språk, innan den kommer i närheten av en lansering. Det gjorde om "den här modellen verkar smart" till ett tal vi kan jämföra, och det avslöjade en kandidat som såg bra ut på papperet.
Animera en gång, vila sedan
Tekniker
Maskotar och klot spelar upp sin animation en gång när en sida visas, och står sedan still (ögonen kan följa pekaren). En säkerhetsapp körs hela dagen; allt som loopar för evigt kostar hela dagen.
Liten generativ modell på enheten (Gemma 4, 4-bit)
Modeller
Driver Ask FireAI: gör om "blockera spel för min son" till rätt inställning, på 16 språk, helt på Mac. Hämtas en gång med användarens samtycke, och tas bort ur minnet vid inaktivitet.
MLX på Apple Silicon
Plattformar
Apples ramverk för maskininlärning använder det delade minnet i M-seriens chip direkt. Det är detta som gör en användbar språkmodell praktisk på en vanlig Mac.
Network Extension-innehållsfilter
Plattformar
Systemtillägget som ser varje anslutning, för varje app, utan ett kärntillägg. Grunden i FireAIs brandvägg, regler och nödstopp.
Kör språkmodellen inuti själva Swift-appen: ingen Python, ingen hjälpserver, ingen öppen port på Mac:en.
Strikt samtidighet i Swift 6
Verktyg
Fångar datakapplöpningar vid kompilering. En vass kant: en systemåterkallning märkt för huvudtråden men anropad från en annan tråd kompilerar utan problem och kraschar vid körning. Vi kontrollerar nu alla systemåterkallningar för detta.
Testa — testas
URL-filter i macOS med Private Information Retrieval
Plattformar
Nytt i macOS 26: blockera en sida (till exempel en enda YouTube-kanal) för alla appar som använder Apples nätverk, samtidigt som servern som svarar på uppslaget aldrig får veta vilken adress som kontrollerades. Driver Blockerade sidor (beta).
Safari-webbtillägg för navigering inuti sidan
Plattformar
Webbplatser som YouTube byter sida utan en ny nätverksförfrågan, så ett nätverksfilter kan inte se klicket. Ett Safari-tillägg kan. Det fungerar bara när användaren tillåter det på varje webbplats, vilket vi nu förklarar i appen.
Vår 3D-maskot visade sig vara billig att rita. CPU-kostnaden vi först skyllde på den kom från den animerade oskärpan och skuggan runt den.
Utvärdera — värt att bevaka
Två hjärnor: en för ord, en för beslut
Tekniker
Behåll en generativ modell för att förklara och prata, och låt en liten, snabb, icke-generativ modell fatta ja/nej-beslut. Idén håller fortfarande; den första kandidaten vi provade förstod inte brandväggskommandon tillräckligt bra.
Mycket små URL-riskklassificerare
Modeller
Modeller på några få megabyte som bedömer phishing-risken för en webbadress utan att läsa sidan. Tillräckligt små för att övervägas för kontroller per anslutning. Näst på tur i labbet; inga resultat än.
Vår 2D-maskotkonst blir till animerade 3D-modeller (för appen, webben och sociala videor) med ett enda kommando, så att hela familjen kan byggas om när konsten ändras. Ögonen var den svåra delen.
Utgående kontroll för AI-agenter
Tekniker
Nvidias nya säkerhetsplattform för agenter begränsar vad en AI-agent får nå, efter att agenter rapporterats agera utanför sina instruktioner. Samma idé gäller på en Mac: en agent-app bör bara nå de mål som dess uppgift kräver. I labbet: en FireAI-profil som håller AI-agent-appar till en godkänd lista med mål.
Cisco Talos beskrev ett Windows-program som frågar flera kommersiella AI-modeller vad det ska göra härnäst. Oavsett vad det körs på måste ett sådant program nå en AI-leverantör via nätverket. I labbet: meddela användaren när en app de aldrig godkänt börjar prata med en AI-modell-leverantör.
Nätverks-"AI-brandväggar" för datacenter och AI-appar
Plattformar
Leverantörer använder nu "AI-brandvägg" för två olika saker: AI inuti en nätverksbrandvägg, och ett filter framför en AI-applikations promptar och svar. Ingetdera körs på en privat Mac. Vi följer båda för att lära oss vilka idéer som går att överföra till en enskild dator.
Forskare visade att ett enda skadligt webbläsartillägg kan styra AI-assistenten som är inbyggd i flera webbläsare. En nätverksbrandvägg ser webbläsaren, inte dess tillägg. I labbet: vägleda användare genom en genomgång av Safari-tillägg direkt i FireAI.
Kodare som svarar på typade frågor (välj ett, ja/nej, poäng) med kalibrerad säkerhet, mycket snabbt på Apple Silicon. Imponerande hastighet, och de hanterar enkel routning bra, men i zero-shot hade de fel på de flesta brandväggskommandon. Pausad för den här uppgiften, inte generellt.
Moln-AI som avgör vad din Mac får ansluta till
Modeller
Att skicka varje anslutning till en fjärransluten AI skulle skicka med din surfhistorik, och lägga till en nätverkstur och retur för varje beslut. FireAIs AI stannar på Mac:en.
Personliga AI-agenter med stående åtkomst till dina konton
Modeller
Agenter som bokar, köper och svarar åt dig fungerar bäst med varaktig åtkomst till e-post, kalendrar och betalkonton. Den åtkomsten lever kvar längre än någon enskild uppgift. Pausad för våra egna lösningar: FireAIs AI svarar på frågor på Mac och har ingen åtkomst till konton.
Varje rapport ger frågan, vad vi provade, siffrorna vi mätte och vår slutsats.
En snabb beslutsmodell bredvid Gemma? Inte än
Kan en liten, icke-generativ beslutsmodell ersätta språkmodellen för att göra om kommandon på vanligt språk till inställningar, och vara mycket snabbare?
Vi körde Laya-multilingual (MLX-bygge) på en Mac med Apple Silicon mot samma testuppsättning av Ask FireAI-kommandon som produktionsmodellen måste klara, på engelska, franska, tyska, spanska, arabiska, kinesiska och ryska. Vi testade två olika sätt att ställa frågorna på. Vi kontrollerade också modellen mot dess eget publicerade exempel för att utesluta ett konfigurationsfel.
Nuvarande modell (Gemma 4, på enheten)
32–37 av 37 kommandon rätt
Laya-multilingual, bästa upplägg
6 av 37 rätt (10 av 37 valde rätt typ av åtgärd)
Laya-multilingual, näst bästa upplägg
2 av 37 rätt
Laya-hastighet per kommando
24 ms median, 80 ms långsammast
Laya på sitt eget publicerade exempel
Rätt, med hög säkerhet
Omkring hundra gånger snabbare, och inte användbar i zero-shot för brandväggskommandon: den blandade ihop spel med nödstoppet och "stäng av" med "sätt på". Hastigheten är verklig, så tvåhjärneidén stannar kvar på radarn; nästa kandidater är modeller tränade för ett smalt beslut (är den här adressen riskabel?) snarare än allmän frågebesvarande.
En språkmodell inuti en Mac-app skriven i Swift
Kan en säkerhetsapp för Mac erbjuda en användbar språkmodell utan att skicka något till molnet, och utan att skada Mac:en?
Ask FireAI har kört en 4-bit Gemma 4-modell genom MLX Swift sedan sin första lansering. Vi mätte kvalitet med en fast testuppsättning kommandon och följde minnes- och batteribeteende i vardaglig användning.
Var den körs
I appen, på Mac:en; ingen hjälpprocess, ingen öppen port
Förstådda språk
16, samma som appen
Första användningen
En nedladdning, bara efter att användaren godkänt
Minne vid inaktivitet
Frigörs efter 10 minuter utan en fråga
Anta. Små modeller på enheten är tillräckligt bra för att förstå kommandon och förklara beslut. Att ladda modellen vid behov och frigöra den vid inaktivitet betyder lika mycket som själva modellvalet: en brandvägg ska aldrig vara appen som åt upp ditt minne.
Blockera en YouTube-kanal för alla appar, på ett privat sätt
Kan FireAI blockera en enda sida, till exempel en YouTube-kanal, överallt på Mac:en, och inte bara i en webbläsare, utan att få veta vad familjen surfar på?
Vi byggde Blockerade sidor (beta) på URL-filtret i macOS 26 med Private Information Retrieval, lade till ett Safari-tillägg för klick inuti sidan, och testade Safari, appar som använder Apples nätverk, Firefox, Chrome och Brave.
Safari och appar som använder Apples nätverk
Blockerat, både direkta besök och klick inuti sidan (med tillägget aktiverat)
Firefox, Chrome, Brave
Inte täckta: de använder sin egen nätverkskod
Vad uppslagsservern får veta
Inget om vilken adress som kontrollerades
Överraskning
Sidadresser matchas med skillnad mellan versaler och gemener
Under utprövning. Det fungerar där Apples nätverk används, vilket täcker standardwebbläsaren och de flesta appar. För andra webbläsare är det ärliga svaret idag "bara Safari"-brytaren, så appen erbjuder nu båda tillsammans, tydligt märkta beta.
Från 30 procent CPU i viloläge till ensiffriga tal
Varför använde FireAI omkring 30 procent CPU utan att göra något, och vad behöver egentligen en brandvägg som körs hela dagen rita om?
Vi mätte CPU i viloläge med fönstret i förgrunden och i bakgrunden, och tog sedan bort orsaker en i taget: 3D-maskoten, loopande animationer, menyradsmätaren och hur ofta liveuppdaterade trafiksiffror når gränssnittet.
Före
Omkring 30 procent CPU i viloläge
Efter, fönster i förgrunden
Omkring 17 procent
Efter, i bakgrunden
7–11 procent
3D-maskoten i sig
Inte orsaken
Anta "animera en gång, vila sedan", och pausa allt som loopar för evigt. De största kostnaderna var sådant ingen lägger märke till: en puls som aldrig stannar, en oskärpa som animeras och siffror som uppdateras snabbare än någon kan läsa dem. Det finns mer att vinna, och profileringen fortsätter.
Vi publicerar resultat, inte recept: hur FireAI är byggt och finjusterat stannar i labbet.