Uruchamianie lokalnego LLM na Apple Silicon w celu selekcji bezpieczeństwa

Model, który klasyfikuje połączenie sieciowe jako warte uwagi lub nie, działające na tym samym komputerze Mac, który nawiązał połączenie, zmienia trzy rzeczy na raz: co opuszcza maszynę, ile kosztuje jej eksploatacja i czy nadal działa, gdy podejrzana jest sama sieć. Wszystkie trzy mają większe znaczenie w przypadku narzędzia bezpieczeństwa niż w przypadku większości innych zastosowań modelu językowego, dlatego też ten artykuł dotyczy konkretnie przypadku na urządzeniu, a nie wywoływania interfejsu API.

Dlaczego na urządzeniu, szczególnie na potrzeby selekcji

Wysłanie wiersza dziennika połączenia do modelu w chmurze w celu klasyfikacji oznacza przesyłanie przy każdej pojedynczej decyzji, która aplikacja na komputerze Mac komunikuje się z jakim hostem i na jakim porcie w danej chwili. Nie jest to tajemnicą, jeśli chodzi o hasło, ale jest to dokładnie ten rodzaj metadanych, który dbająca o bezpieczeństwo konfiguracja stara się zminimalizować udostępnianie, a narzędzie, którego głównym celem jest decydowanie o tym, co Twój Mac może wysyłać gdzie indziej, ma oczywisty powód, aby nie polegać na wysyłaniu czegoś gdzie indziej przy każdej podejmowanej decyzji. Lokalne uruchomienie modelu całkowicie eliminuje tę zależność: linia dziennika nigdy nie opuszcza urządzenia, ponieważ w ścieżce decyzyjnej nie ma żadnego połączenia sieciowego.

Drugim powodem jest ciągłość. Etap segregacji w chmurze jest dostępny tylko wtedy, gdy dostępne jest połączenie internetowe i interfejs API dostawcy, a oba te elementy mogą ulec pogorszeniu lub celowo odciąć podczas prawdziwego zdarzenia. Model działający w pamięci lokalnej odpowiada, gdy sieć jest wyłączona, wyłączone Wi-Fi lub istnieje podejrzenie, że trwa naruszenie tego samego łącza, z którego korzystałoby wywołanie API.

MLX: własna platforma tablicowa firmy Apple

MLX to platforma tablicowa zbudowana przez zespół badawczy Apple zajmujący się uczeniem maszynowym specjalnie dla układów Apple krzemowych, z interfejsami API Python, C++, C i Swift. Jej własna dokumentacja opisuje ujednolicony model pamięci jako definiujący wybór projektu: tablice w MLX znajdują się w pamięci współdzielonej, a operacje na nich można wykonywać na dowolnym obsługiwanym urządzeniu — procesorze lub karcie graficznej — bez uprzedniego kopiowania wag modelu pomiędzy oddzielnymi pulami pamięci. Ma to szczególne znaczenie w przypadku laptopa: maszyna z oddzielnym procesorem graficznym musi skopiować masy modelu przez magistralę do pamięci procesora graficznego, zanim będzie mogła cokolwiek obliczyć, co kosztuje czas i podwaja zużycie pamięci; w przypadku zunifikowanej architektury pamięci komputera Mac procesor i procesor graficzny korzystają już z tej samej pamięci fizycznej, więc nie ma czego kopiować.

mlx-lm, pakiet towarzyszący do uruchamiania modeli językowych w MLX, instaluje się za pomocą jednego polecenia i dostarcza domyślny model od razu po wyjęciu z pudełka:

$ pip install mlx-lm
# runs the default model (mlx-community/Llama-3.2-3B-Instruct-4bit)
$ mlx_lm.generate --prompt "How tall is Mt Everest?"
# or name a specific quantized model from the mlx-community hub
$ mlx_lm.generate --model mlx-community/Mistral-7B-Instruct-v0.3-4bit --prompt "..."
# interactive chat session instead of a single prompt
$ mlx_lm.chat
# convert and quantize a model yourself
$ mlx_lm.convert --model mistralai/Mistral-7B-Instruct-v0.3 -q

llama.cpp: opcja przenośna

llama.cpp jest starszym, szerzej przeniesionym z nich, napisanym w C/C++ bez konieczności stosowania środowiska wykonawczego Pythona w czasie wnioskowania. Własny plik README bezpośrednio określa pozycję projektu na tym sprzęcie: krzem Apple jest traktowany, według słów projektu, „obywatele pierwszej klasy – zoptymalizowany za pomocą frameworków ARM NEON, Accelerate i Metal”, a dokumentacja kompilacji potwierdza, że ​​w systemie macOS backend procesora graficznego Metal jest domyślnie włączony, z flagą na czas kompilacji, która pozwala go wyłączyć, jeśli chcesz wnioskować tylko na temat procesora.

$ git clone https://github.com/ggml-org/llama.cpp
$ cd llama.cpp
$ cmake -B build
$ cmake --build build --config Release
# Metal is on by default on macOS; add -DGGML_METAL=OFF to the first
# command above if you need to force CPU-only inference
$ llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF
# or run it as a local server instead of a one-shot command
$ llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

llama.cpp działa na plikach GGUF, jednoplikowym formacie modelu, który zawiera skwantowane wagi i wszystko, co potrzebne do ich uruchomienia; powyższe polecenie pobiera je bezpośrednio z repozytorium Hugging Face według nazwy. Z kolei MLX jest bliższy natywnemu przepływowi pracy w języku Python, konwertując i kwantyzując modele do własnego formatu z wyprzedzeniem. Żadne z nich nie jest dokładnie lepsze: plik llama.cpp jest tym, po który warto sięgnąć, jeśli chcesz mieć pojedynczy skompilowany plik binarny bez zależności od Pythona, MLX jest tym, po który sięgniesz, jeśli już budujesz resztę swojego potoku w Pythonie i chcesz stamtąd mieć pierwszorzędny dostęp do ujednoliconego modelu pamięci Apple.

Kwantyzacja: co właściwie zamieniasz na mniejszy model

Kwantyzacja przechowuje wagę każdego modelu w mniejszej liczbie bitów niż 16 lub 32, w których model został wyszkolony, zmniejszając zarówno plik na dysku, jak i pamięć potrzebną do jego uruchomienia, pewnym kosztem jakości wyjściowej. Własna dokumentacja kwantyzacji llama.cpp zawiera dokładne liczby bitów na wagę dla każdego obsługiwanego schematu, co jest dokładniejszym sposobem uzasadnienia kompromisu niż zwykły skrót „4-bitowy” lub „8-bitowy”:

Mnożenie liczby parametrów modelu przez liczbę bitów na wagę daje przybliżone oszacowanie pamięci dla samych wag: model z 7 miliardami parametrów w Q4_K_M, wynoszący 4,89 bitów na wagę, potrzebuje około 7 000 000 000 × 4,89 ÷ 8 bajtów, czyli około 4,3 GB, przed uwzględnieniem okna kontekstowego i aktywacji pośrednich, które dodają więcej w zależności od ilości tekstu nakarm to. Jest to obliczenie na podstawie cytowanej liczby bitów na wagę, a nie liczby, którą którykolwiek z projektów publikuje bezpośrednio, a rzeczywiste wykorzystanie pamięci będzie większe po załadowaniu prawdziwego monitu i jego kontekstu. Praktyczne wskazówki wynikające z tabeli są proste: w przypadku zadania takiego jak klasyfikowanie jednej linii dziennika połączeń na raz, gdzie dane wejściowe są krótkie, a wymagany wynik to niewielka strukturalna werdykt, model klasy Q4_K_M jest bardzo często właściwym rozwiązaniem — zauważalnie mniejszy i szybszy niż Q8_0 lub F16, bez przechodzenia do poziomu ekstremalnej kompresji, w którym jakość wyjściowa pogarsza się gwałtowniej.

Żaden z projektów nie publikuje informacji o wymaganiach dotyczących pamięci na konfigurację komputera Mac, więc praktycznym podejściem jest cofnięcie się od powyższych szacunków i pozostawienie prawdziwego zapasu: sam system macOS, Twoja przeglądarka i wszystko inne, co jest uruchomione, również potrzebuje zunifikowanej pamięci, a model, który ledwo pasuje do niczego innego otwartego, zostanie zamieniony lub zatrzymany w momencie przejścia na inną aplikację. Na komputerze Mac ze skromną ilością zunifikowanej pamięci przemawia to za pozostaniem w mniejszym końcu powyższej tabeli — kilka miliardów parametrów w Q4_K_M zamiast znacznie większego modelu przy tej samej kwantyzacji — i zarezerwowaniu większych, bardziej precyzyjnych opcji dla maszyn z zapasową pamięcią. W przypadku wąskiego zadania klasyfikacyjnego, takiego jak to, o którym mowa w tym artykule, mniejszy model, któremu zadano precyzyjne pytanie, jest zwykle szybszy i w praktyce bardziej spójny niż większy model, biorąc pod uwagę niejasność.

Obydwa projekty są w fazie aktywnego rozwoju i uczciwe porównanie nie brzmi „co jest lepsze”, a raczej „co pasuje do twoich planów”. plik llama.cpp kompiluje się do pojedynczego pliku binarnego bez konieczności uruchamiania środowiska Pythona w momencie wnioskowania, co ma znaczenie, jeśli chcesz osadzić go w innym oprogramowaniu bez konieczności dostarczania wraz z nim interpretera Pythona. MLX zakłada, że ​​już pracujesz w Pythonie (lub Swift, dla którego dostarcza również powiązania) i nagradza to ściślejszą integracją z własnym stosem uczenia maszynowego Apple i opisanym powyżej modelem ujednoliconej pamięci. Narzędzie bezpieczeństwa zbudowane jako samodzielna aplikacja dla systemu macOS, w której znajduje się samo FireAI, znajduje się bliżej końca tego spektrum, związanego z lamą.cpp; notatnik badawczy sprawdzający, który wzór podpowiedzi działa najlepiej, znajduje się bliżej końca MLX.

Wzorzec monitu dotyczący ustalania kolejności jednego połączenia

Im węższe pytanie zadasz małemu modelowi lokalnemu, tym bardziej wiarygodnie odpowie. W przypadku pojedynczego połączenia oznacza to określenie dokładnie tych dziedzin, na które zwróciłby uwagę recenzent-ludzki – nic więcej, niczego wywnioskowanego – i proszenie o ustrukturyzowany werdykt, a nie o swobodną prozę:

System: You review one outbound network connection at a time. You are
given only the fields listed below. Do not assume anything not stated.
Respond with exactly two lines: a verdict (allow, ask, or block) and a
one-sentence reason a non-expert could understand.

Connection:
  app: UpdaterHelper.app
  code_signature: unsigned
  destination: 91.203.xxx.xxx:4444
  protocol: TCP
  threat_feed_hit: none
  first_seen: yes (no prior rule for this app)

Verdict:

Liczą się pola, które w trakcie sprawdzania podpisywania kodu i źródła zagrożeń mogą zostać wygenerowane bez zgadywania: czy plik binarny jest podpisany i przez kogo, gdzie i na jakim porcie próbuje się połączyć, czy to miejsce docelowe pojawia się w źródle zagrożeń oraz czy jest to pierwsza próba połączenia tej aplikacji w ogóle. Prośba o stały dwuwierszowy wynik zamiast otwartego wyjaśnienia sprawia, że ​​wynik jest łatwiejszy do zarejestrowania, łatwiejszy do porównania z tysiącami połączeń i znacznie trudniej jest wypełnić model językiem hedgingowym, który brzmi autorytatywnie, nie mówiąc niczego sprawdzalnego.

Mały model i tak czasami zignoruje żądany format — trzy linie zamiast dwóch, dodatkowe zastrzeżenie, słowo werdyktu, które nie jest jednym z trzech, o które prosiłeś. Potraktuj to jako problem inżynieryjny, a nie związany z modelowaniem: sprawdź wynik pod kątem dokładnie oczekiwanego kształtu, a jeśli nie pasuje, zapytaj ponownie lub wróć do najbezpieczniejszego werdyktu (zapytaj, czyli pokaż człowieka), zamiast próbować analizować luźniejszą odpowiedź. Krok selekcji, który kończy się bezpiecznym niepowodzeniem w przypadku zniekształconych danych wyjściowych, jest o wiele bardziej przydatny niż ten, który czasami generuje pewnie wyglądającą, ale niemożliwą do przeanalizowania linię i po cichu ją upuszcza.

Uruchom ten wzorzec przez cały dzień prób nawiązania połączenia, a nie pojedynczych, a kształt obciążenia ulegnie zmianie: większość połączeń pochodzi z aplikacji z istniejącą regułą i w ogóle nigdy nie dociera do modelu, mniejsza liczba jest rzeczywiście widziana po raz pierwszy i otrzymuje werdykt, a tylko ułamek tych werdyktów to coś innego niż rutynowe zezwolenie. Prawdziwym zadaniem modela w tym momencie nie jest bycie ekspertem ds. bezpieczeństwa; polega na skróceniu długiej listy połączeń widzianych po raz pierwszy do małego podzbioru, któremu dana osoba faktycznie musi się przyjrzeć, co jest znacznie łatwiejszym do osiągnięcia celem w przypadku modelu składającego się z kilku miliardów parametrów niż byłaby to otwarta ocena bezpieczeństwa.

Gdzie to idzie źle

• Mały lokalny model może dać pewny, dobrze napisany, całkowicie błędny powód. Nic w działaniu lokalnym nie zmienia tego ryzyka; zmienia się tylko to, gdzie zdarzy się błąd, a nie to, czy może się zdarzyć.
• Okna kontekstowe są skończone i długi, zaszumiony dziennik nie pasuje. Podsumowanie lub wstępne filtrowanie, zanim model zobaczy dane, wprowadza własny punkt awarii — możesz stracić jedną linię, która miała znaczenie, zanim model będzie miał szansę na nią spojrzeć.
• Model widzi tylko to, co zawiera linia logu. Nie może zajrzeć do zaszyfrowanego ruchu, nie może sprawdzić, czy źródło zagrożeń jest aktualne i nie może poznać Twoich zamiarów — połączenie z narzędzia, które właśnie zainstalowałeś celowo, wygląda identycznie jak połączenie z narzędzia, o którym nigdy nie słyszałeś.
• Wyrok to nie czynność. Nic tutaj nie powinno samodzielnie blokować, usuwać ani dyskretnie zezwalać na połączenie; osoba nadal musi zobaczyć przyczynę i potwierdzić ją, a także mieć możliwość odwrócenia połączenia, jeśli model się pomylił.

Ten ostatni punkt nie jest ograniczeniem specyficznym dla małego skwantowanego modelu działającego na laptopie — dotyczy to każdej zautomatyzowanej decyzji dotyczącej bezpieczeństwa, lokalnej lub w chmurze, małego lub dużego modelu. Wartość lokalnego uruchomienia jest tym, co usuwa z równania (zależność od sieci, powtarzający się rachunek, osoba trzecia otrzymująca metadane połączenia), a nie twierdzenie, że eliminuje to potrzebę obecności człowieka w pętli.

Gdzie FireAI pasuje do tego wzorca

FireAI, zapora ogniowa HisnLabs dla komputerów Mac, oferuje coś zbudowanego na tym samym pomyśle, w węższym zakresie niż model czatu ogólnego przeznaczenia: opcjonalny model lokalny, dodatkowe około 1,5 GB do pobrania, który działa w całości na komputerze Mac i przegląda połączenia z aplikacji, które nie mają jeszcze żadnych reguł. Wymaga systemu macOS 14 lub nowszego na platformie Apple Silicone, stosuje publiczne źródła zagrożeń lokalnie, zamiast sprawdzać je w usłudze zdalnej, i pokazuje powód swojej decyzji w tym samym monitie o pozwolenie, którego używa, pytając o zezwolenie lub odmowę połączenia — każda z tych decyzji staje się widoczną, edytowalną regułą, a każdą z nich można cofnąć. Warto dokładnie określić, co to jest, a czym nie jest: nie jest to otwarty model czatu z kilkoma miliardami parametrów, który opisuje ten artykuł, nie jest to program antywirusowy ani VPN — wykonuje jedno zadanie wąskiej klasyfikacji, lokalnie i pozostawia ostateczną rozmowę każdemu, kto przeczyta monit.

Jaką rolę odgrywają FireAI i HisnLabs

FireAI’s own connection reviewer is this exact bet, made narrower still: an optional, roughly 1.5 GB on-device model, macOS 14 and up, Apple silicon only, reviewing one thing (should this unknown app reach this destination) with a visible reason and an undo button — and, like the triage pattern in this article, it still needs a person to confirm anything consequential.

FireAI to własny produkt HisnLabs: zapora sieciowa z AI działająca bezpośrednio na Macu. Pokazuje prostym językiem każde połączenie nawiązywane przez twoje aplikacje i pozwala ci decydować, co opuszcza twojego Maca — jej AI działa lokalnie, więc twój ruch nigdy nie jest wysyłany do nas ani do nikogo innego. Zespół badań nad bezpieczeństwem HisnLabs dba o to, by te decyzje pozostały trafne: kataloguje, które domeny to zwykła telemetria, a które prawdziwa usługa, śledzi kraj i sieć stojące za połączeniem oraz trenuje lokalny model (funkcję Autopilot) na rzeczywistych wzorcach ruchu — a nic z tego nie opuszcza twojego Maca.

Możesz przeczytać o decyzjach technicznych, które za tym stoją, albo wypróbować FireAI przez 17 dni na FireAI od HisnLabs.