Gå til innholdetHisnLabs

HisnLabs Labs

HisnLabs-radar

Det laboratoriet vårt følger med på, tester og bestemmer: nye AI-modeller, Apple-plattformer og teknikker, vurdert fra Ta i bruk til Vent, med resultatene bak hver vurdering.

Utgave 1 · 2026-10-01

Ta i bruk — vi bruker det

  • Et testsett med ekte kommandoer før noen modell lanseres

    Teknikker

    Hver modell som brukes i Ask FireAI, vurderes mot et fast sett med kommandoer på vanlig språk, på flere språk, før den kommer nær en utgivelse. Det gjorde "denne modellen virker smart" om til et tall vi kan sammenligne, og det avslørte en kandidat som så flott ut på papiret.

  • Animer én gang, så hvile

    Teknikker

    Maskoter og kuler spiller av animasjonen sin én gang når en side vises, og står deretter stille (øynene kan følge pekeren). En sikkerhetsapp kjører hele dagen; alt som løkker for alltid, koster hele dagen.

  • Liten generativ modell på enheten (Gemma 4, 4-bit)

    Modeller

    Driver Ask FireAI: gjør om "blokker spill for sønnen min" til riktig innstilling, på 16 språk, helt på Mac-en. Lastes ned én gang med brukerens samtykke, og fjernes fra minnet når den er inaktiv.

  • MLX på Apple Silicon

    Plattformer

    Apples rammeverk for maskinlæring bruker det delte minnet i M-serie-brikker direkte. Det er dette som gjør en nyttig språkmodell praktisk mulig på en vanlig Mac.

  • Network Extension-innholdsfilter

    Plattformer

    Systemutvidelsen som ser hver tilkobling, for hver app, uten en kjerneutvidelse. Grunnmuren i FireAIs brannmur, regler og nødbryter.

    I nyhetene:Mac network monitoring

  • MLX Swift LM

    Verktøy

    Kjører språkmodellen inne i selve Swift-appen: ingen Python, ingen hjelpeserver, ingen åpen port på Mac-en.

  • Streng samtidighet i Swift 6

    Verktøy

    Fanger opp datakappløp ved kompilering. Én skarp kant: en systemtilbakekalling merket for hovedtråden, men kalt fra en annen tråd, kompilerer fint og krasjer ved kjøretid. Vi sjekker nå alle systemtilbakekallinger for dette.

Prøv — under testing

  • URL-filter i macOS med Private Information Retrieval

    Plattformer

    Nytt i macOS 26: blokker én side (for eksempel én bestemt YouTube-kanal) for alle apper som bruker Apples nettverk, samtidig som serveren som svarer på oppslaget, aldri får vite hvilken adresse som ble sjekket. Driver Blokkerte sider (beta).

  • Safari-nettleserutvidelser for navigasjon inne i siden

    Plattformer

    Nettsteder som YouTube bytter side uten en ny nettverksforespørsel, så et nettverksfilter kan ikke se klikket. En Safari-utvidelse kan. Den fungerer bare når brukeren tillater den på hvert nettsted, noe vi nå forklarer i appen.

    I nyhetene:Browser AI agent security

  • SceneKit for liten 3D i appen

    Verktøy

    3D-maskoten vår viste seg å være billig å tegne. CPU-kostnaden vi først ga den skylden for, kom fra den animerte uskarpheten og skyggen rundt den.

Vurder — verdt å følge

  • To hjerner: én for ord, én for beslutninger

    Teknikker

    Behold en generativ modell for å forklare og snakke, og la en liten, rask, ikke-generativ modell ta ja/nei-beslutninger. Ideen holder fortsatt stikk; den første kandidaten vi prøvde, forsto ikke brannmurkommandoer godt nok.

  • Skanne modellfiler før de lastes

    Teknikker

    Modellfiler lagret som Python-pickle kan kjøre kode i det øyeblikket de lastes, så åpne skannere som ModelScan, picklescan og fickling leser dem uten å laste dem. Nyttig som sperre før en nedlasting kommer inn i en bygging; funn trenger fortsatt menneskelig gjennomgang. FireAI skanner ikke filer: den styrer hvilken app som kobler til hvor.

  • Svært små URL-risikoklassifiserere

    Modeller

    Modeller på noen få megabyte som vurderer phishing-risikoen for en nettadresse uten å lese siden. Små nok til å vurderes for kontroll per tilkobling. Neste på benken; ingen resultater ennå.

    I nyhetene:Documentation placeholder domain scams

  • Klassifikatorer for prompt-injeksjon (Prompt Guard, Llama Guard)

    Modeller

    Små modeller foran en LLM som flagger injeksjonsforsøk og utrygt innhold. De reduserer forsøk som samsvarer med kjente mønstre uten å fjerne angrepet, og to åpne deteksjonsprosjekter er arkivert, så en beskyttelse bør kunne byttes ut. De kan ikke bedømme en tilkobling; en brannmur kan ikke bedømme en prompt.

  • Skriptet 2D-til-3D-maskotpipeline

    Verktøy

    2D-maskotkunsten vår blir til animerte 3D-modeller (for appen, nettet og sosial video) med én kommando, slik at hele familien kan bygges på nytt når kunsten endres. Øynene var den vanskelige delen.

  • Signerte modeller og KI-stykklister

    Verktøy

    Å signere en modell med Sigstore-verktøy lar brukeren kontrollere hvem som publiserte den og at filene ikke er endret. En signatur beviser opprinnelse og integritet, ikke sikkerhet, og en stykkliste registrerer hva forfatteren oppgir, ikke hva som er verifisert. Verdt å følge med på etter hvert som bruken vokser.

  • Red team-skannere for LLM (garak, PyRIT, promptfoo)

    Verktøy

    Åpne skannere sender fiendtlige inndata til en modell eller en app og registrerer svaret. De tester atferd, ikke filer, og resultatene avhenger av målet og av dommeren som er satt opp. Ett av verktøyene er nå en del av OpenAI, så vedlikehold og eierskap bør sjekkes før man stoler på noe av dem.

  • Utgangskontroll for AI-agenter

    Teknikker

    Nvidias nye sikkerhetsplattform for agenter begrenser hva en AI-agent kan nå, etter at agenter ble rapportert å handle utover sine instruksjoner. Samme idé gjelder på en Mac: en agent-app bør bare nå de målene oppgaven krever. FireAIs Agent profile, bygget for neste versjon, gjenkjenner Claude Code, Cursor og lignende apper, lærer over tre dager hvilke mål hver av dem vanligvis kontakter, og varsler deretter om et mål de aldri har brukt eller en opplastingstopp, slik at du kan se nærmere på det. Det er en baseline, ikke en lås, og den kan ikke se prompter eller innholdet i verktøy. På benken: agenter som startes gjennom en tolk, som ikke gjenkjennes ennå.

    I nyhetene:AI agent safetyAI agent securityAI agent security

  • Ukjente apper som kaller AI-modell-API-er

    Teknikker

    Cisco Talos beskrev et Windows-program som spør flere kommersielle AI-modeller hva det skal gjøre videre. Uansett hva det kjører på, må et slikt program nå en AI-leverandør over nettverket. På benken: varsle brukeren når en app de aldri har godkjent, begynner å snakke med en AI-modell-leverandør.

    I nyhetene:AI-directed Windows implant

  • Nettverks-"AI-brannmurer" for datasentre og AI-apper

    Plattformer

    Leverandører bruker nå "AI-brannmur" om to forskjellige ting: AI inne i en nettverksbrannmur, og et filter foran ledetekstene og svarene til en AI-applikasjon. Ingen av delene kjører på en personlig Mac. Vi følger begge for å lære hvilke ideer som kan overføres til en enkelt datamaskin.

    I nyhetene:AI firewall products

  • Nettleserutvidelser som vei inn til AI-assistenter

    Verktøy

    Forskere viste at én ondsinnet nettleserutvidelse kan styre AI-assistenten som er innebygd i flere nettlesere. En nettverksbrannmur ser nettleseren, ikke utvidelsene dens. På benken: veilede brukere gjennom en gjennomgang av Safari-utvidelser fra innsiden av FireAI.

    I nyhetene:Browser AI agent security

  • OpenClaw

    Verktøy

    Personlig AI-agent med åpen kildekode, laget av Peter Steinberger og nå drevet av OpenClaw Foundation, som lever på din egen datamaskin og tar imot ordre fra chat-appene dine. Verktøyene kjører på verten med mindre de isoleres, så den åpner utgående tilkoblinger ingen på Macen har valgt én etter én. Derfor følger vi med: en brannmur må styre dem. For å flytte den til utprøving måtte vi se FireAI liste tilkoblingene dens per mål, og en oppgavebegrenset tillatelsesliste holde uten å ødelegge det vanlige arbeidet.

  • Hermes Agent

    Verktøy

    Selvforbedrende AI-agent med åpen kildekode fra Nous Research (MIT-lisens) med vedvarende minne, et terminalgrensesnitt og en innebygd import for OpenClaw-oppsett. Agenter med skall- og nettverkstilgang på skrivebordet er en ny kilde til utgående tilkoblinger, og en som lærer nye ferdigheter over tid er vanskeligere å forutse. For å flytte den til utprøving måtte vi se trafikken dens holde seg innenfor en kort liste med godkjente mål gjennom flere dager med reell bruk.

  • Kontrollplan for KI-agenter i bedrifter

    Plattformer

    OpenClaw Foundation har startet et åpent kontrollplan som gir en bedrift ett sted å styre KI-agentene sine, etter at enkelte virksomheter forbød agenten helt. Denne typen styring avgjør hvem som får kjøre en agent og med hvilke rettigheter; den ser ikke hva hver enkelt Mac kobler til. I laboratoriet: hvordan en oversikt per Mac over en agents utgående tilkoblinger kan komme som et supplement til bedriftens retningslinjer.

    I nyhetene:AI agent security

  • Eksponerte kjøremiljøer for agenter og containervertar

    Teknikker

    Et botnett som ThreatDown har omtalt, installerer den åpne agenten Hermes Agent på Docker-verter som står åpne mot internett, og tar imot ordrene sine via Telegram. Det svake punktet er den eksponerte administrasjonstjenesten, ikke agenten, og alle kjøremiljøer for agenter som kan nås fra nettverket, har samme risiko. I laboratoriet: å si fra til brukeren når en tjeneste på Macen begynner å ta imot tilkoblinger fra andre maskiner.

    I nyhetene:AI agent security

  • Bakdører i klonede installasjonsprogrammer og diskbilder på macOS

    Teknikker

    Rapporter beskriver et falskt Zoom-installasjonsprogram levert som diskbilde til Mac-er, og Jamf Threat Labs analyserte CloudSyncD, en totrinns bakdør som skjuler et phishet passord i Unicode-tegn uten bredde. Et klonet installasjonsprogram ser ut som den ekte appen, så det første synlige tegnet er ofte hvor den nye prosessen kobler seg til. I laboratoriet: å flagge en nylig installert app som kontakter et ukjent mål kort tid etter første oppstart.

    I nyhetene:macOS fake installersmacOS backdoors

Vent — ikke nå

  • Alltid kjørende UI-animasjoner i en bakgrunnsapp

    Teknikker

    Tidsur som tegner om hvert bilde, løkkende pulser og animert uskarphet holder GPU-en og CPU-en våkne selv når ingen ser på. Vi fjernet alle sammen.

  • Typede beslutningsenkodere, zero-shot (Laya-multilingual MLX)

    Modeller

    Enkodere som svarer på typede spørsmål (velg ett, ja/nei, poengsum) med kalibrert sikkerhet, svært raskt på Apple Silicon. Imponerende fart, og de håndterer enkel ruting godt, men i zero-shot tok de feil på de fleste brannmurkommandoer. Satt på vent for denne oppgaven, ikke generelt.

  • Sky-AI som bestemmer hva Mac-en din får koble til

    Modeller

    Å sende hver tilkobling til en ekstern AI ville sendt nettleserhistorikken din med den, og lagt til en nettverksrundtur for hver beslutning. FireAIs AI blir på Mac-en.

    I nyhetene:AI chatbot privacyAI chatbot privacy

  • Personlige AI-agenter med fast tilgang til kontoene dine

    Modeller

    Agenter som bestiller, kjøper og svarer for deg, fungerer best med varig tilgang til e-post, kalendere og betalingskontoer. Den tilgangen overlever hver enkelt oppgave. Satt på vent for våre egne løsninger: FireAIs AI svarer på spørsmål på Mac-en og har ingen tilgang til kontoer.

    I nyhetene:Personal AI agent privacyAI assistant security flaws

Hva vi testet, hva vi fant

Hver rapport gir spørsmålet, hva vi prøvde, tallene vi målte og konklusjonen vår.

En rask beslutningsmodell ved siden av Gemma? Ikke ennå

Kan en liten, ikke-generativ beslutningsmodell erstatte språkmodellen for å gjøre om kommandoer på vanlig språk til innstillinger, og være mye raskere?

Vi kjørte Laya-multilingual (MLX-bygg) på en Mac med Apple Silicon mot det samme testsettet med Ask FireAI-kommandoer som produksjonsmodellen må bestå, på engelsk, fransk, tysk, spansk, arabisk, kinesisk og russisk. Vi prøvde to ulike måter å stille spørsmålene på. Vi sjekket også modellen mot dens eget publiserte eksempel for å utelukke en oppsettsfeil.

Nåværende modell (Gemma 4, på enheten)
32–37 av 37 kommandoer riktige
Laya-multilingual, beste oppsett
6 av 37 riktige (10 av 37 valgte riktig type handling)
Laya-multilingual, nest beste oppsett
2 av 37 riktige
Laya-hastighet per kommando
24 ms median, 80 ms tregest
Laya på sitt eget publiserte eksempel
Riktig, med høy sikkerhet

Rundt hundre ganger raskere, og ikke brukbar i zero-shot for brannmurkommandoer: den blandet spill med nødbryteren og "slå av" med "slå på". Farten er reell, så to-hjerner-ideen blir på radaren; de neste kandidatene er modeller trent for én snever beslutning (er denne adressen risikabel?) fremfor generell spørsmålsbesvarelse.

En språkmodell inne i en Swift Mac-app

Kan en sikkerhetsapp for Mac tilby en nyttig språkmodell uten å sende noe til skyen, og uten å skade Mac-en?

Ask FireAI har kjørt en 4-bit Gemma 4-modell gjennom MLX Swift siden første utgivelse. Vi målte kvalitet med et fast testsett av kommandoer og fulgte med på minne- og batteriatferd i daglig bruk.

Hvor den kjører
I appen, på Mac-en; ingen hjelpeprosess, ingen åpen port
Forståtte språk
16, det samme som appen
Første bruk
Én nedlasting, bare etter at brukeren samtykker
Minne når inaktiv
Frigjort etter 10 minutter uten spørsmål

Ta i bruk. Små modeller på enheten er gode nok til å forstå kommandoer og forklare beslutninger. Å laste modellen ved behov og frigjøre den når den er inaktiv, betyr like mye som selve modellvalget: en brannmur skal aldri være appen som spiste opp minnet ditt.

Blokkerer én YouTube-kanal for alle apper, privat

Kan FireAI blokkere én enkelt side, som én YouTube-kanal, overalt på Mac-en, og ikke bare i én nettleser, uten å få vite hva familien surfer på?

Vi bygde Blokkerte sider (beta) på URL-filteret i macOS 26 med Private Information Retrieval, la til en Safari-utvidelse for klikk inne i siden, og testet Safari, apper som bruker Apples nettverk, Firefox, Chrome og Brave.

Safari og apper som bruker Apples nettverk
Blokkert, både direkte besøk og klikk inne i siden (med utvidelsen på)
Firefox, Chrome, Brave
Ikke dekket: de bruker sin egen nettverkskode
Hva oppslagsserveren får vite
Ingenting om hvilken adresse som ble sjekket
Overraskelse
Sideadresser sammenlignes med skille mellom store og små bokstaver

Under utprøving. Det fungerer der Apples nettverk brukes, noe som dekker standardnettleseren og de fleste apper. For andre nettlesere er det ærlige svaret i dag "bare Safari"-bryteren, så appen tilbyr nå begge sammen, tydelig merket beta.

Fra 30 prosent CPU i hvile til ett siffer

Hvorfor brukte FireAI rundt 30 prosent CPU mens den ikke gjorde noe, og hva trenger egentlig en brannmur som kjører hele dagen å tegne om?

Vi målte CPU i hvile med vinduet i forgrunnen og i bakgrunnen, og fjernet deretter årsaker én om gangen: 3D-maskoten, løkkende animasjoner, menylinjemåleren og hvor ofte tall for direkte trafikk når grensesnittet.

Før
Rundt 30 prosent CPU i hvile
Etter, vindu i forgrunnen
Rundt 17 prosent
Etter, i bakgrunnen
7–11 prosent
3D-maskoten selv
Ikke årsaken

Ta i bruk "animer én gang, så hvile", og sett alt som løkker for alltid, på vent. De største kostnadene var ting ingen legger merke til: en puls som aldri stopper, en uskarphet som animeres, og tall som oppdateres raskere enn noen kan lese dem. Det er mer å hente, og profileringen fortsetter.

Vi publiserer resultater, ikke oppskrifter: hvordan FireAI er bygget og justert blir i laboratoriet.