Det laboratoriet vårt følger med på, tester og bestemmer: nye AI-modeller, Apple-plattformer og teknikker, vurdert fra Ta i bruk til Vent, med resultatene bak hver vurdering.
Utgave 1 · 2026-09-28
Ta i bruk — vi bruker det
Et testsett med ekte kommandoer før noen modell lanseres
Teknikker
Hver modell som brukes i Ask FireAI, vurderes mot et fast sett med kommandoer på vanlig språk, på flere språk, før den kommer nær en utgivelse. Det gjorde "denne modellen virker smart" om til et tall vi kan sammenligne, og det avslørte en kandidat som så flott ut på papiret.
Animer én gang, så hvile
Teknikker
Maskoter og kuler spiller av animasjonen sin én gang når en side vises, og står deretter stille (øynene kan følge pekeren). En sikkerhetsapp kjører hele dagen; alt som løkker for alltid, koster hele dagen.
Liten generativ modell på enheten (Gemma 4, 4-bit)
Modeller
Driver Ask FireAI: gjør om "blokker spill for sønnen min" til riktig innstilling, på 16 språk, helt på Mac-en. Lastes ned én gang med brukerens samtykke, og fjernes fra minnet når den er inaktiv.
MLX på Apple Silicon
Plattformer
Apples rammeverk for maskinlæring bruker det delte minnet i M-serie-brikker direkte. Det er dette som gjør en nyttig språkmodell praktisk mulig på en vanlig Mac.
Network Extension-innholdsfilter
Plattformer
Systemutvidelsen som ser hver tilkobling, for hver app, uten en kjerneutvidelse. Grunnmuren i FireAIs brannmur, regler og nødbryter.
Kjører språkmodellen inne i selve Swift-appen: ingen Python, ingen hjelpeserver, ingen åpen port på Mac-en.
Streng samtidighet i Swift 6
Verktøy
Fanger opp datakappløp ved kompilering. Én skarp kant: en systemtilbakekalling merket for hovedtråden, men kalt fra en annen tråd, kompilerer fint og krasjer ved kjøretid. Vi sjekker nå alle systemtilbakekallinger for dette.
Prøv — under testing
URL-filter i macOS med Private Information Retrieval
Plattformer
Nytt i macOS 26: blokker én side (for eksempel én bestemt YouTube-kanal) for alle apper som bruker Apples nettverk, samtidig som serveren som svarer på oppslaget, aldri får vite hvilken adresse som ble sjekket. Driver Blokkerte sider (beta).
Safari-nettleserutvidelser for navigasjon inne i siden
Plattformer
Nettsteder som YouTube bytter side uten en ny nettverksforespørsel, så et nettverksfilter kan ikke se klikket. En Safari-utvidelse kan. Den fungerer bare når brukeren tillater den på hvert nettsted, noe vi nå forklarer i appen.
3D-maskoten vår viste seg å være billig å tegne. CPU-kostnaden vi først ga den skylden for, kom fra den animerte uskarpheten og skyggen rundt den.
Vurder — verdt å følge
To hjerner: én for ord, én for beslutninger
Teknikker
Behold en generativ modell for å forklare og snakke, og la en liten, rask, ikke-generativ modell ta ja/nei-beslutninger. Ideen holder fortsatt stikk; den første kandidaten vi prøvde, forsto ikke brannmurkommandoer godt nok.
Svært små URL-risikoklassifiserere
Modeller
Modeller på noen få megabyte som vurderer phishing-risikoen for en nettadresse uten å lese siden. Små nok til å vurderes for kontroll per tilkobling. Neste på benken; ingen resultater ennå.
2D-maskotkunsten vår blir til animerte 3D-modeller (for appen, nettet og sosial video) med én kommando, slik at hele familien kan bygges på nytt når kunsten endres. Øynene var den vanskelige delen.
Utgangskontroll for AI-agenter
Teknikker
Nvidias nye sikkerhetsplattform for agenter begrenser hva en AI-agent kan nå, etter at agenter ble rapportert å handle utover sine instruksjoner. Samme idé gjelder på en Mac: en agent-app bør bare nå de målene oppgaven krever. På benken: en FireAI-profil som holder AI-agent-apper til en godkjent liste med mål.
Cisco Talos beskrev et Windows-program som spør flere kommersielle AI-modeller hva det skal gjøre videre. Uansett hva det kjører på, må et slikt program nå en AI-leverandør over nettverket. På benken: varsle brukeren når en app de aldri har godkjent, begynner å snakke med en AI-modell-leverandør.
Nettverks-"AI-brannmurer" for datasentre og AI-apper
Plattformer
Leverandører bruker nå "AI-brannmur" om to forskjellige ting: AI inne i en nettverksbrannmur, og et filter foran ledetekstene og svarene til en AI-applikasjon. Ingen av delene kjører på en personlig Mac. Vi følger begge for å lære hvilke ideer som kan overføres til en enkelt datamaskin.
Nettleserutvidelser som vei inn til AI-assistenter
Verktøy
Forskere viste at én ondsinnet nettleserutvidelse kan styre AI-assistenten som er innebygd i flere nettlesere. En nettverksbrannmur ser nettleseren, ikke utvidelsene dens. På benken: veilede brukere gjennom en gjennomgang av Safari-utvidelser fra innsiden av FireAI.
Enkodere som svarer på typede spørsmål (velg ett, ja/nei, poengsum) med kalibrert sikkerhet, svært raskt på Apple Silicon. Imponerende fart, og de håndterer enkel ruting godt, men i zero-shot tok de feil på de fleste brannmurkommandoer. Satt på vent for denne oppgaven, ikke generelt.
Sky-AI som bestemmer hva Mac-en din får koble til
Modeller
Å sende hver tilkobling til en ekstern AI ville sendt nettleserhistorikken din med den, og lagt til en nettverksrundtur for hver beslutning. FireAIs AI blir på Mac-en.
Personlige AI-agenter med fast tilgang til kontoene dine
Modeller
Agenter som bestiller, kjøper og svarer for deg, fungerer best med varig tilgang til e-post, kalendere og betalingskontoer. Den tilgangen overlever hver enkelt oppgave. Satt på vent for våre egne løsninger: FireAIs AI svarer på spørsmål på Mac-en og har ingen tilgang til kontoer.
Hver rapport gir spørsmålet, hva vi prøvde, tallene vi målte og konklusjonen vår.
En rask beslutningsmodell ved siden av Gemma? Ikke ennå
Kan en liten, ikke-generativ beslutningsmodell erstatte språkmodellen for å gjøre om kommandoer på vanlig språk til innstillinger, og være mye raskere?
Vi kjørte Laya-multilingual (MLX-bygg) på en Mac med Apple Silicon mot det samme testsettet med Ask FireAI-kommandoer som produksjonsmodellen må bestå, på engelsk, fransk, tysk, spansk, arabisk, kinesisk og russisk. Vi prøvde to ulike måter å stille spørsmålene på. Vi sjekket også modellen mot dens eget publiserte eksempel for å utelukke en oppsettsfeil.
Nåværende modell (Gemma 4, på enheten)
32–37 av 37 kommandoer riktige
Laya-multilingual, beste oppsett
6 av 37 riktige (10 av 37 valgte riktig type handling)
Laya-multilingual, nest beste oppsett
2 av 37 riktige
Laya-hastighet per kommando
24 ms median, 80 ms tregest
Laya på sitt eget publiserte eksempel
Riktig, med høy sikkerhet
Rundt hundre ganger raskere, og ikke brukbar i zero-shot for brannmurkommandoer: den blandet spill med nødbryteren og "slå av" med "slå på". Farten er reell, så to-hjerner-ideen blir på radaren; de neste kandidatene er modeller trent for én snever beslutning (er denne adressen risikabel?) fremfor generell spørsmålsbesvarelse.
En språkmodell inne i en Swift Mac-app
Kan en sikkerhetsapp for Mac tilby en nyttig språkmodell uten å sende noe til skyen, og uten å skade Mac-en?
Ask FireAI har kjørt en 4-bit Gemma 4-modell gjennom MLX Swift siden første utgivelse. Vi målte kvalitet med et fast testsett av kommandoer og fulgte med på minne- og batteriatferd i daglig bruk.
Hvor den kjører
I appen, på Mac-en; ingen hjelpeprosess, ingen åpen port
Forståtte språk
16, det samme som appen
Første bruk
Én nedlasting, bare etter at brukeren samtykker
Minne når inaktiv
Frigjort etter 10 minutter uten spørsmål
Ta i bruk. Små modeller på enheten er gode nok til å forstå kommandoer og forklare beslutninger. Å laste modellen ved behov og frigjøre den når den er inaktiv, betyr like mye som selve modellvalget: en brannmur skal aldri være appen som spiste opp minnet ditt.
Blokkerer én YouTube-kanal for alle apper, privat
Kan FireAI blokkere én enkelt side, som én YouTube-kanal, overalt på Mac-en, og ikke bare i én nettleser, uten å få vite hva familien surfer på?
Vi bygde Blokkerte sider (beta) på URL-filteret i macOS 26 med Private Information Retrieval, la til en Safari-utvidelse for klikk inne i siden, og testet Safari, apper som bruker Apples nettverk, Firefox, Chrome og Brave.
Safari og apper som bruker Apples nettverk
Blokkert, både direkte besøk og klikk inne i siden (med utvidelsen på)
Firefox, Chrome, Brave
Ikke dekket: de bruker sin egen nettverkskode
Hva oppslagsserveren får vite
Ingenting om hvilken adresse som ble sjekket
Overraskelse
Sideadresser sammenlignes med skille mellom store og små bokstaver
Under utprøving. Det fungerer der Apples nettverk brukes, noe som dekker standardnettleseren og de fleste apper. For andre nettlesere er det ærlige svaret i dag "bare Safari"-bryteren, så appen tilbyr nå begge sammen, tydelig merket beta.
Fra 30 prosent CPU i hvile til ett siffer
Hvorfor brukte FireAI rundt 30 prosent CPU mens den ikke gjorde noe, og hva trenger egentlig en brannmur som kjører hele dagen å tegne om?
Vi målte CPU i hvile med vinduet i forgrunnen og i bakgrunnen, og fjernet deretter årsaker én om gangen: 3D-maskoten, løkkende animasjoner, menylinjemåleren og hvor ofte tall for direkte trafikk når grensesnittet.
Før
Rundt 30 prosent CPU i hvile
Etter, vindu i forgrunnen
Rundt 17 prosent
Etter, i bakgrunnen
7–11 prosent
3D-maskoten selv
Ikke årsaken
Ta i bruk "animer én gang, så hvile", og sett alt som løkker for alltid, på vent. De største kostnadene var ting ingen legger merke til: en puls som aldri stopper, en uskarphet som animeres, og tall som oppdateres raskere enn noen kan lese dem. Det er mer å hente, og profileringen fortsetter.
Vi publiserer resultater, ikke oppskrifter: hvordan FireAI er bygget og justert blir i laboratoriet.