Blog o bezpieczeństwie FireAI

Autor FireAI Security & Research Team · Opublikowano

Kariera w cyberbezpieczeństwie AI: co trzeba wiedzieć

Kariera w cyberbezpieczeństwie AI: co trzeba wiedzieć

„Cyberbezpieczeństwo AI” nie jest pojedynczym stanowiskiem w strukturze organizacyjnej żadnego pracodawcy. Nazwa ta obejmuje grupę ról, które w ostatnich latach pojawiły się w istniejących zespołach bezpieczeństwa, a każda z nich czerpie z innej części tradycyjnej dyscypliny: testowanie systemów AI w sposób, w jaki pentester bada aplikację, zabezpieczanie oprogramowania i potoków otaczających wdrożony model, stosowanie narzędzi AI w pracy nad wykrywaniem i reagowaniem oraz zarządzanie tym, jak organizacja w ogóle wdraża tę technologię. Żadna z cytowanych poniżej organizacji normalizacyjnych ani żadne z badań rynku pracy nie traktuje ich jako jednej roli; ten artykuł również tego nie robi.

Kontekst

Punktem odniesienia, którego większość pracodawców i dostawców szkoleń w USA używa do ogólnego opisu stanowisk w cyberbezpieczeństwie, jest NICE Workforce Framework for Cybersecurity, utrzymywany przez NIST i udostępniany przez CISA. Dzieli on zawód na kategorie ról — Oversight and Governance, Design and Development, Implementation and Operation, Protection and Defense oraz Investigation — z których każda jest rozbita na opisy zadań, wiedzy i umiejętności, a nie na stałe nazwy stanowisk [1]. W chwili pisania opublikowany framework nie ma własnej kategorii ról poświęconej AI; role opisane w tym artykule mieszczą się w jego istniejących kategoriach, a tam, gdzie framework milczy, zapożyczają słownictwo z nowszych materiałów referencyjnych dotyczących AI.

Te nowsze materiały pochodzą głównie z trzech źródeł: OWASP Gen AI Security Project, który publikuje Top 10 for LLM Applications, listę kategorii ryzyka, takich jak wstrzykiwanie promptów, ujawnianie informacji wrażliwych, ryzyko w łańcuchu dostaw i nadmierna sprawczość [2]; MITRE ATLAS, publicznej bazy wiedzy o taktykach i technikach przeciwników atakujących systemy AI, zbudowanej jako uzupełnienie frameworku ATT&CK od MITRE [3]; oraz NIST AI Risk Management Framework, który dzieli pracę nad ryzykiem AI na cztery funkcje — Govern, Map, Measure i Manage [4]. Od osoby pracującej w którejkolwiek z czterech opisanych niżej ról oczekuje się w praktyce znajomości co najmniej jednego z tych trzech dokumentów.

Po stronie rynku pracy CyberSeek — wspólny projekt NICE, CompTIA i firmy analityki rynku pracy Lightcast — odnotował 514 359 ogłoszeń o pracę na stanowiska w cyberbezpieczeństwie na rynku amerykańskim między majem 2024 a kwietniem 2025 roku, przy szacowanej globalnej liczbie pracowników cyberbezpieczeństwa wynoszącej około 4 970 000 osób. Według CyberSeek 10 procent tych ogłoszeń wprost wymieniało umiejętności związane z AI jako wymaganie [5]. To mniejszość ogłoszeń, co ma znaczenie dla interpretacji dalszej części artykułu: praca w bezpieczeństwie AI jest obecnie dodatkiem do kariery w cyberbezpieczeństwie, nadbudowanym na fundamencie, a jeszcze nie odrębnym rynkiem pracy.

Dowody

Red teaming AI jest najlepiej publicznie udokumentowaną z czterech ról. AI Red Team Microsoftu, utworzony w 2018 roku, opisuje swoje zadanie jako testowanie systemów AI zarówno pod kątem złośliwego nadużycia, jak i zwykłych awarii, a jego własny opis pracy wskazuje dwie różnice w stosunku do testowania konwencjonalnego oprogramowania: systemy generatywne są probabilistyczne, więc „to samo wejście podane dwa razy może dać różne wyniki”, co wymusza powtarzane próby zamiast jednego deterministycznego testu; a aplikacje budowane na tych modelach „zmieniają się szybciej” niż tradycyjne oprogramowanie, więc jednorazowa ocena szybciej się dezaktualizuje [6]. Osoby w tej roli używają MITRE ATLAS jako roboczego źródła do katalogowania technik ataku na systemy uczenia maszynowego, podobnie jak konwencjonalny red teamer korzysta z ATT&CK [3].

Bezpieczeństwo modeli i agentów to węższa, bardziej inżynierska rola: zabezpieczanie warstwy aplikacji wokół wdrożonego modelu, a nie samych wag modelu czy danych treningowych. Top 10 for LLM Applications od OWASP jest najbliższym odpowiednikiem wspólnego programu nauczania w tej poddziedzinie, a jego kategorie pełnią zarazem rolę przybliżonego opisu stanowiska — wstrzykiwanie promptów, niebezpieczna obsługa danych wyjściowych, zatruwanie danych i modeli, nadmierna sprawczość przyznana autonomicznemu agentowi oraz ryzyko w łańcuchu dostaw w bibliotekach i modelach zewnętrznych, od których zależy aplikacja [2]. Osoby wykonujące tę pracę wywodzą się zwykle z bezpieczeństwa aplikacji, a nie z data science, ponieważ podstawową umiejętnością jest audyt tego, jak niezaufane dane wejściowe przepływają przez system, zastosowany do nowszego rodzaju systemu.

Inżynieria detekcji z użyciem AI mieści się w kategorii Protection and Defense frameworku NICE i w dużym stopniu pokrywa się z istniejącą pracą operacji bezpieczeństwa: budowaniem reguł, modeli i potoków, które przekształcają surową telemetrię w alerty, na które człowiek może zareagować, przy czym wśród danych wejściowych są teraz także sygnały generowane lub wspomagane przez AI [1]. MITRE D3FEND, graf wiedzy o środkach obronnych opracowany wspólnie przez MITRE i Cybersecurity Directorate NSA, jest najbliższym opublikowanym punktem odniesienia dla tej strony pracy: porządkuje środki obrony w sześć taktyk — Model, Harden, Detect, Isolate, Deceive i Restore — i przypisuje konkretne środki zaradcze technikom ofensywnym, którym przeciwdziałają, dając inżynierom detekcji wspólne słownictwo do opisu tego, co faktycznie robi dana kontrola [7]. D3FEND nie jest w żadnym aspekcie specyficzny dla AI; rola polega na stosowaniu go do potoków, które obejmują teraz sygnały pochodzące z AI.

Zarządzanie AI (AI governance) jest najnowszym obszarem i, według dostępnych danych, obecnie największym pojedynczym przedmiotem deklarowanej troski pracodawców i praktyków. Framework NIST traktuje zarządzanie jako jedną z czterech podstawowych funkcji, obejmującą nadzór organizacyjny, struktury odpowiedzialności i politykę, zanim zastosowana zostanie jakakolwiek kontrola techniczna [4]. We wrześniu 2026 roku ISC2 przeprowadziło na LinkedInie ankietę wśród ponad 500 specjalistów od cyberbezpieczeństwa, pytając, co najbardziej wymaga zdefiniowania w miarę, jak AI przekształca zawód; 68 procent wybrało „AI governance and compliance”, wyprzedzając frameworki modelowania zagrożeń AI (16 procent), zabezpieczanie potoków danych AI (11 procent) i obronę przed atakami adwersaryjnymi (5 procent) [8]. Ankieta tej wielkości i w tej formie nie jest naukową próbą całego zawodu, do czego artykuł wraca w części o ograniczeniach, ale kierunek wyniku — praca nad zarządzaniem przewyższająca wszystkie kategorie techniczne razem wzięte — trudno odczytać inaczej.

Zestawione na podstawie źródeł cytowanych w tym artykule; żadna z tych nazw nie jest oficjalną nazwą roli w NICE.
RolaCzym się zajmujeSkąd się wywodziMateriały referencyjne
Red teaming AIWielokrotnie bada wdrożone systemy AI pod kątem awarii i nadużyć, biorąc pod uwagę probabilistyczne wynikiTesty penetracyjne, badania nad adwersaryjnym MLMITRE ATLAS [3]
Bezpieczeństwo modeli / agentówZabezpiecza warstwę aplikacji i łańcuch dostaw wokół wdrożonego modelu lub agentaBezpieczeństwo aplikacjiOWASP LLM Top 10 [2]
Inżynieria detekcjiBuduje i dostraja potoki przekształcające telemetrię, w tym sygnały pochodzące z AI, w alertyOperacje bezpieczeństwa, analiza SOCMITRE D3FEND [7]
Zarządzanie AIUstala politykę, odpowiedzialność i kontrole ryzyka dla wdrażania AI w organizacjiZarządzanie ryzykiem, complianceNIST AI RMF [4]

Analiza

Po zestawieniu ról obok siebie wyróżniają się dwie kwestie. Po pierwsze, żadna z nich nie stanowi wyraźnego zerwania z istniejącą pracą w cyberbezpieczeństwie — każda jest tradycyjną dyscypliną (red teaming, bezpieczeństwo aplikacji, operacje bezpieczeństwa, zarządzanie) zastosowaną do nowszego rodzaju celu. Odpowiada to temu, co sugerują dane CyberSeek: skoro tylko 10 procent ogłoszeń wprost wymienia umiejętności AI, większość pracodawców nie zatrudnia jeszcze na odrębną rolę „bezpieczeństwa AI”, lecz raczej oczekuje, że istniejące role obejmą szerszy zakres [5]. Po drugie, droga wejścia do każdej z czterech ról nadal prowadzi najpierw przez ogólne podstawy cyberbezpieczeństwa. Opisy zadań, wiedzy i umiejętności w istniejących kategoriach frameworku NICE — a nie osobna ścieżka AI — pozostają punktem wyjścia opisywanym przez pracodawców i dostawców szkoleń [1], a podstawowy certyfikat ISC2, Certified in Cybersecurity (CC), który nie zakłada wcześniejszego doświadczenia zawodowego, nadal obejmuje ogólne zasady bezpieczeństwa, zarządzanie, zarządzanie tożsamością i dostępem, sieci oraz operacje bezpieczeństwa, zanim pojawi się cokolwiek specyficznego dla AI [9].

Do tych ról prowadzi niewielka liczba utartych ścieżek, a nie jeden kanał: podstawy cyberbezpieczeństwa (samodzielna nauka, bootcamp lub studia), a następnie specjalizacja już w zespole; doświadczenie w programowaniu lub data science, które przesuwa się w stronę bezpieczeństwa, gdy zespół potrzebuje kogoś do zabezpieczenia tego, co zbudował; oraz praktyka w zawodach capture-the-flag, które obejmują teraz moduły bezpieczeństwa AI. CyLab Security Academy Uniwersytetu Carnegie Mellon prowadzi picoCTF, bezpłatną platformę, która rozszerzyła się „od podstaw bezpieczeństwa do zaawansowanych obszarów, takich jak bezpieczeństwo AI”, i traktuje stały udział, a nie pojedynczy certyfikat, jako śledzony w czasie dowód umiejętności [10]. Na podstawie powyższych źródeł pracodawcy oczekują zwykle praktycznej znajomości co najmniej jednego z następujących dokumentów: NICE, OWASP LLM Top 10, MITRE ATLAS lub D3FEND oraz NIST AI RMF, obok ogólnych podstaw bezpieczeństwa, na których opiera się każda z czterech ról.

Rekomendacje

  1. Zbuduj ogólne podstawy przed specjalizacją: to istniejące kategorie frameworku NICE, a nie ścieżka wyłącznie AI, są nadal źródłem większości opisów stanowisk [1].
  2. Przeczytaj Top 10 for LLM Applications od OWASP i przynajmniej przejrzyj studia przypadków MITRE ATLAS; oba dokumenty są bezpłatne i publiczne, a od osób w tych rolach oczekuje się, że już je znają [2] [3].
  3. Ćwicz na platformie CTF zawierającej zadania z bezpieczeństwa AI, takiej jak picoCTF, zamiast traktować samą teorię jako wystarczającą [10].
  4. Jeśli interesuje Cię zarządzanie, przestudiuj bezpośrednio cztery funkcje NIST AI RMF; ankieta ISC2 sugeruje, że pracodawcy oceniają obecnie ten obszar wyżej niż jakąkolwiek pojedynczą specjalizację techniczną [4] [8].
  5. Śledź, jak faktycznie ewoluują zagrożenia i narzędzia, zamiast polegać na jednym statycznym źródle, korzystając z bieżącego dziennika badań, takiego jak FireAI Radar.

Ograniczenia

Opublikowany framework NICE nie definiuje jeszcze ról specyficznych dla AI; cztery grupy opisane w tym artykule są syntezą sąsiednich standardów dokonaną przez tę publikację, a nie oficjalną taksonomią, a nazwy stanowisk dla tej samej pracy znacznie różnią się między pracodawcami [1]. Ankieta ISC2 dotycząca zarządzania objęła ponad 500 respondentów z jednej grupy odbiorców na LinkedInie, którzy sami zdecydowali się odpowiedzieć; jest to rzeczywisty sygnał nastrojów praktyków, a nie próba losowa całego zawodu, a jej margines błędu nie został podany [8]. Wartość 10 procent podawana przez CyberSeek obejmuje każde ogłoszenie, które w ogóle wspomina umiejętności AI, co może oznaczać ogólną znajomość AI, a nie konkretnie pracę w bezpieczeństwie AI, i dotyczy wyłącznie rynku amerykańskiego [5]. Co do wynagrodzeń: jedyne pobrane źródło z konkretnymi kwotami, globalne dane ISC2 o certyfikacjach z 2024 roku, nie dotyczy ról w bezpieczeństwie AI — podawało globalne średnie wynagrodzenia od 94 948 USD dla zbliżonego do poziomu podstawowego certyfikatu SSCP do 119 577 USD dla CISSP według stanu na maj 2024 roku — a żadne źródło wykorzystane w tym artykule nie podaje odrębnej, wiarygodnej kwoty dla specjalistów od bezpieczeństwa AI [11].

Jaką rolę odgrywają FireAI i HisnLabs

Żadna z czterech ról opisanych w tym artykule nie jest czymś, co wykonuje zapora sieciowa; FireAI to węższe narzędzie działające na urządzeniu, a rzetelna droga do kariery w tej dziedzinie prowadzi przez praktykę i materiały źródłowe, nie przez sam produkt.

FireAI to własny produkt HisnLabs: zapora sieciowa z AI działająca bezpośrednio na Macu. Pokazuje prostym językiem każde połączenie nawiązywane przez twoje aplikacje i pozwala ci decydować, co opuszcza twojego Maca — jej AI działa lokalnie, więc twój ruch nigdy nie jest wysyłany do nas ani do nikogo innego. Zespół badań nad bezpieczeństwem HisnLabs dba o to, by te decyzje pozostały trafne: kataloguje, które domeny to zwykła telemetria, a które prawdziwa usługa, śledzi kraj i sieć stojące za połączeniem oraz trenuje lokalny model (funkcję FireAI Pilot) na rzeczywistych wzorcach ruchu — a nic z tego nie opuszcza twojego Maca.

Możesz przeczytać o decyzjach technicznych, które za tym stoją, albo wypróbować FireAI przez 17 dni na FireAI od HisnLabs.

Źródła