Блог з безпеки FireAI

Автор FireAI Security & Research Team · Опубліковано

Кар’єра в кібербезпеці ШІ: що потрібно знати

Кар’єра в кібербезпеці ШІ: що потрібно знати

«Кібербезпека ШІ» не є окремою посадою в жодній організаційній структурі роботодавця. Цей термін позначає групу ролей, що з’явилися в наявних командах безпеки за останні кілька років, і кожна з них спирається на іншу частину традиційної дисципліни: тестування систем ШІ так, як пентестер досліджує застосунок, захист програмного забезпечення та конвеєрів навколо розгорнутої моделі, застосування інструментів ШІ в роботі з виявлення й реагування, а також управління тим, як організація взагалі впроваджує цю технологію. Жоден зі стандартизаційних органів чи досліджень кадрового ринку, наведених нижче, не розглядає їх як одну роль, і ця стаття теж.

Контекст

Орієнтиром, яким більшість роботодавців і освітніх провайдерів у США описують посади в кібербезпеці загалом, є NICE Workforce Framework for Cybersecurity, який підтримує NIST і розміщує CISA. Він поділяє професію на категорії робочих ролей — Oversight and Governance, Design and Development, Implementation and Operation, Protection and Defense та Investigation, — кожна з яких розкладена на твердження про завдання, знання й навички, а не на фіксовані назви посад [1]. На момент написання опублікована рамка не має власної категорії робочих ролей, присвяченої ШІ; ролі, описані в цій статті, розміщуються в її наявних категоріях і запозичують термінологію з новіших, специфічних для ШІ довідкових матеріалів там, де рамка мовчить.

Ці новіші матеріали походять переважно з трьох джерел: OWASP Gen AI Security Project, що публікує Top 10 for LLM Applications — перелік категорій ризиків, як-от prompt injection, розкриття чутливої інформації, ризики ланцюга постачання та надмірна автономність (excessive agency) [2]; MITRE ATLAS — публічна база знань про тактики й техніки противників, спрямовані на системи ШІ, створена як доповнення до рамки ATT&CK від MITRE [3]; і NIST AI Risk Management Framework, що структурує роботу з ризиками ШІ у чотири функції — Govern, Map, Measure і Manage [4]. Від фахівця в будь-якій із чотирьох ролей, описаних нижче, на практиці очікують знання принаймні одного з цих трьох документів.

Щодо ринку праці: CyberSeek — спільний проєкт NICE, CompTIA та аналітичної компанії Lightcast — зафіксував 514 359 вакансій у сфері кібербезпеки на ринку США з травня 2024 до квітня 2025 року на тлі оціночної світової кількості фахівців з кібербезпеки близько 4 970 000 осіб. За даними CyberSeek, 10 відсотків цих вакансій прямо вимагали навичок у сфері ШІ [5]. Це меншість оголошень, і це важливо для прочитання решти статті: робота з безпеки ШІ наразі є доповненням до кар’єри в кібербезпеці, що надбудовується над базою, а не окремим ринком праці.

Дані

Червоні команди для ШІ (AI red teaming) — найкраще публічно задокументована з чотирьох ролей. AI Red Team компанії Microsoft, створена 2018 року, описує своє завдання як тестування систем ШІ як на зловмисне використання, так і на звичайні збої, і її власний опис роботи виділяє дві відмінності від тестування звичайного ПЗ: генеративні системи ймовірнісні, тож «той самий вхід двічі може дати різні результати», що вимагає повторних спроб замість одного детермінованого тесту; а застосунки, побудовані на цих моделях, «змінюються швидше», ніж традиційне ПЗ, тож одноразова оцінка швидше застаріває [6]. Фахівці в цій ролі використовують MITRE ATLAS як робочий довідник для каталогізації технік атак на системи машинного навчання, так само як звичайна червона команда посилається на ATT&CK [3].

Безпека моделей і агентів — вужча, більш інженерна роль: захист прикладного рівня навколо розгорнутої моделі, а не ваг моделі чи її навчальних даних. Top 10 for LLM Applications від OWASP — найближче до спільної навчальної програми, що має ця підгалузь, і його категорії водночас слугують приблизним описом посади: prompt injection, небезпечна обробка виводу, отруєння даних і моделі, надмірна автономність, надана автономному агенту, та ризики ланцюга постачання в бібліотеках і сторонніх моделях, від яких залежить застосунок [2]. Люди, що виконують цю роботу, зазвичай приходять із безпеки застосунків, а не з науки про дані, адже базова навичка — аудит того, як недовірені вхідні дані проходять через систему, застосований до новішого типу систем.

Інженерія виявлення із застосуванням ШІ належить до категорії Protection and Defense в NICE і значною мірою перетинається з наявною роботою центрів безпеки: створення правил, моделей і конвеєрів, що перетворюють сиру телеметрію на сповіщення, з якими може працювати людина, тепер із сигналами, згенерованими ШІ або отриманими за його допомогою, серед вхідних даних [1]. MITRE D3FEND — граф знань про захисні контрзаходи, створений спільно MITRE та Cybersecurity Directorate АНБ, — найближчий опублікований довідник для цього напряму: він упорядковує захист у шість тактик — Model, Harden, Detect, Isolate, Deceive і Restore — і зіставляє конкретні контрзаходи з наступальними техніками, яким вони протидіють, даючи інженерам виявлення спільну мову для опису того, що насправді робить той чи інший засіб контролю [7]. У D3FEND немає нічого специфічного для ШІ; роль полягає в його застосуванні до конвеєрів, що тепер включають сигнали, отримані від ШІ.

Управління ШІ (AI governance) — найновіша і, за наявними даними, наразі найбільша окрема сфера, яку роботодавці й фахівці називають пріоритетною. Власна рамка NIST розглядає управління як одну з чотирьох базових функцій, що охоплює організаційний нагляд, структури відповідальності та політики ще до застосування будь-якого технічного засобу контролю [4]. ISC2 у вересні 2026 року провела в LinkedIn опитування понад 500 фахівців з кібербезпеки про те, що найбільше потребує визначення в міру того, як ШІ змінює професію; 68 відсотків обрали «управління ШІ та відповідність вимогам», випередивши рамки моделювання загроз ШІ (16 відсотків), захист конвеєрів даних ШІ (11 відсотків) і захист від змагальних атак (5 відсотків) [8]. Опитування такого розміру й формату не є науковою вибіркою всієї професії, і ця стаття повертається до цього в розділі про обмеження, але напрям результату — роботи з управління переважають усі технічні категорії разом узяті — важко тлумачити інакше.

Складено за джерелами, наведеними в цій статті; жодна з цих назв не є офіційною назвою робочої ролі NICE.
РольЩо робитьЗвідки приходятьДовідкові матеріали
Червоні команди для ШІБагаторазово досліджує розгорнуті системи ШІ на збої та зловживання з огляду на ймовірнісний характер виводуТестування на проникнення, дослідження змагального МНMITRE ATLAS [3]
Безпека моделей / агентівЗахищає прикладний рівень і ланцюг постачання навколо розгорнутої моделі чи агентаБезпека застосунківOWASP LLM Top 10 [2]
Інженерія виявленняСтворює й налаштовує конвеєри, що перетворюють телеметрію, зокрема сигнали від ШІ, на сповіщенняОперації безпеки, аналітика SOCMITRE D3FEND [7]
Управління ШІВизначає політики, відповідальність і засоби контролю ризиків для впровадження ШІ в організаціїУправління ризиками, відповідність вимогамNIST AI RMF [4]

Аналіз

Якщо розмістити ролі поруч, вирізняються дві речі. По-перше, жодна з них не є чистим розривом із наявною роботою в кібербезпеці: кожна — це традиційна дисципліна (червоні команди, безпека застосунків, операції безпеки, управління), застосована до новішого типу цілі. Це узгоджується з тим, що випливає з даних CyberSeek: коли лише 10 відсотків вакансій прямо згадують навички у сфері ШІ, більшість роботодавців поки що не наймають на окрему роль «безпеки ШІ», а радше просять наявні ролі охоплювати ширше коло завдань [5]. По-друге, шлях до кожної з чотирьох ролей і далі пролягає спершу через загальні основи кібербезпеки. Твердження про завдання, знання й навички в наявних категоріях NICE Framework, а не окремий напрям ШІ, залишаються базою, яку описують роботодавці й освітні провайдери [1], а початковий сертифікат ISC2, Certified in Cybersecurity (CC), що не передбачає попереднього досвіду роботи, і далі охоплює загальні принципи безпеки, управління, керування ідентифікацією та доступом, мережі та операції безпеки, перш ніж переходити до чогось специфічного для ШІ [9].

Люди потрапляють у ці ролі кількома усталеними шляхами, а не одним конвеєром: база в кібербезпеці (самостійне навчання, інтенсивний курс чи диплом) і подальша спеціалізація вже в команді; досвід у розробці ПЗ чи науці про дані, що зміщується в бік безпеки, коли команді потрібен хтось, хто захистить створене; і практика через змагання capture-the-flag, які тепер містять модулі з безпеки ШІ. CyLab Security Academy Університету Карнегі-Меллон проводить picoCTF — безкоштовну платформу, що розширилася «від базових основ безпеки до просунутих напрямів, як-от безпека ШІ», і розглядає тривалу участь, а не окремий сертифікат, як доказ навичок, який вона відстежує з часом [10]. Роботодавці, судячи з наведених вище джерел, зазвичай очікують робочого знання одного чи кількох документів — NICE, OWASP LLM Top 10, MITRE ATLAS або D3FEND та NIST AI RMF — разом із загальними основами безпеки, на яких побудована кожна з чотирьох ролей.

Рекомендації

  1. Створіть загальну базу до спеціалізації: більшість описів посад і далі спираються на наявні категорії NICE Framework, а не на окремий напрям ШІ [1].
  2. Прочитайте Top 10 for LLM Applications від OWASP і принаймні перегляньте кейси MITRE ATLAS; обидва документи безкоштовні, публічні, і саме їх фахівці в цих ролях мають уже знати [2] [3].
  3. Практикуйтеся на платформі CTF із завданнями з безпеки ШІ, як-от picoCTF, а не вважайте достатньою саму теорію [10].
  4. Якщо вас цікавить управління, вивчайте безпосередньо чотири функції NIST AI RMF; опитування ISC2 свідчить, що роботодавці наразі оцінюють цю сферу вище за будь-яку окрему технічну спеціалізацію [4] [8].
  5. Відстежуйте, як насправді змінюються загрози та інструменти, замість покладатися на одне статичне джерело, за допомогою регулярного дослідницького журналу, як-от FireAI Radar.

Обмеження

NICE Framework у опублікованому вигляді поки не визначає робочих ролей, специфічних для ШІ; чотири групи в цій статті є синтезом суміжних стандартів, зробленим цим виданням, а не офіційною таксономією, і назви посад для тієї самої роботи дуже різняться між роботодавцями [1]. Опитування ISC2 щодо управління зібрало понад 500 респондентів з однієї аудиторії LinkedIn, які самі вирішили відповісти; це реальний сигнал настроїв фахівців, а не ймовірнісна вибірка професії, і похибку не зазначено [8]. Показник CyberSeek у 10 відсотків враховує будь-яку вакансію, що взагалі згадує навички у сфері ШІ, що може включати загальну обізнаність у ШІ, а не саме роботу з безпеки ШІ, і стосується лише ринку США [5]. Щодо оплати: єдине опрацьоване джерело з конкретними цифрами зарплат, глобальні дані ISC2 щодо сертифікацій за 2024 рік, не стосується саме ролей у безпеці ШІ — воно повідомляло про середні світові зарплати від $94,948 для близького до початкового рівня сертифіката SSCP до $119,577 для CISSP станом на травень 2024 року, — і жодне джерело, використане для цієї статті, не наводить окремої надійної цифри для фахівців з безпеки ШІ [11].

Яке місце тут посідають FireAI та HisnLabs

Жодна з чотирьох ролей, описаних у цій статті, не є функцією брандмауера; FireAI — вужчий інструмент, що працює на пристрої, і чесний шлях до кар’єри в цій галузі пролягає через практику та довідкові матеріали, а не через сам продукт.

FireAI — це власний продукт HisnLabs: ШІ-фаєрвол, який працює безпосередньо на вашому Mac. Він показує простою мовою кожне з’єднання, яке встановлюють ваші застосунки, і дає вам вирішувати, що покидає ваш Mac, — його ШІ працює локально, тож ваш трафік ніколи не надсилається ні нам, ні будь-кому іншому. Команда дослідників безпеки HisnLabs — саме вона підтримує точність цих рішень: каталогізує, які домени є звичайною телеметрією, а які — справжнім сервісом, відстежує країну та мережу за з’єднанням і навчає локальну модель (функцію FireAI Pilot) на реальних шаблонах трафіку — і нічого з цього не покидає ваш Mac.

Ви можете почитати про технічні рішення, що лежать в його основі, або спробувати FireAI протягом 17 днів на сторінці FireAI від HisnLabs.

Джерела