Блог о безопасности FireAI

Автор FireAI Security & Research Team · Опубликовано

Карьера в кибербезопасности ИИ: что нужно знать

Карьера в кибербезопасности ИИ: что нужно знать

«Кибербезопасность ИИ» — это не одна должность в оргструктуре какого-либо работодателя. Так называют группу ролей, которые за последние несколько лет появились внутри существующих команд безопасности, и каждая опирается на свою часть традиционной дисциплины: тестирование систем ИИ так, как пентестер исследует приложение; защита программного обеспечения и конвейеров вокруг развёрнутой модели; применение инструментов ИИ в обнаружении угроз и реагировании на инциденты; и управление тем, как организация вообще внедряет эту технологию. Ни один из органов стандартизации и ни одно из исследований кадрового рынка, на которые ссылается эта статья, не рассматривает их как единую роль; не делает этого и данная статья.

Контекст

Основной ориентир, которым большинство работодателей и учебных организаций в США пользуются для описания профессий в кибербезопасности в целом, — NICE Workforce Framework for Cybersecurity, который ведёт NIST и публикует CISA. Он делит профессию на категории рабочих ролей — Oversight and Governance, Design and Development, Implementation and Operation, Protection and Defense и Investigation, — каждая из которых описана через формулировки задач, знаний и навыков, а не через фиксированные названия должностей [1]. На момент написания опубликованная версия фреймворка не содержит отдельной категории ролей, посвящённой ИИ; роли, описанные в этой статье, располагаются внутри существующих категорий, а там, где фреймворк молчит, заимствуют терминологию из более новых справочных материалов по безопасности ИИ.

Эти более новые материалы происходят в основном из трёх источников: проект OWASP Gen AI Security Project, публикующий Top 10 for LLM Applications — перечень категорий рисков, таких как prompt injection, раскрытие конфиденциальной информации, риски цепочки поставок и избыточные полномочия (excessive agency) [2]; MITRE ATLAS — открытая база знаний о тактиках и техниках злоумышленников, направленных против систем ИИ, созданная как дополнение к фреймворку MITRE ATT&CK [3]; и NIST AI Risk Management Framework, который структурирует работу с рисками ИИ в четыре функции — Govern, Map, Measure и Manage [4]. От специалиста в любой из четырёх описанных ниже ролей на практике ожидают знания хотя бы одного из этих трёх документов.

Что касается рынка труда, CyberSeek — совместный проект NICE, CompTIA и аналитической компании Lightcast — зафиксировал 514 359 вакансий в сфере кибербезопасности на рынке США в период с мая 2024 по апрель 2025 года при оценочной численности мировой рабочей силы в кибербезопасности около 4 970 000 человек. Согласно CyberSeek, в 10 процентах этих вакансий навыки работы с ИИ прямо указаны как требование [5]. Это меньшинство вакансий, и это важно для понимания остальной части статьи: работа в области безопасности ИИ сегодня — это надстройка над карьерой в кибербезопасности, опирающаяся на базовую подготовку, а не отдельный рынок труда.

Данные

Ред-тиминг ИИ — наиболее публично задокументированная из четырёх ролей. AI Red Team компании Microsoft, созданная в 2018 году, описывает свою работу как тестирование систем ИИ как на злонамеренное использование, так и на обычные сбои, и в её собственном описании выделены два отличия от тестирования традиционного ПО: генеративные системы вероятностны, так что «один и тот же ввод дважды может дать разные результаты», что требует многократных попыток вместо одного детерминированного теста; а приложения, построенные на этих моделях, «меняются быстрее», чем традиционное ПО, поэтому однократная оценка устаревает раньше [6]. Специалисты в этой роли используют MITRE ATLAS как рабочий справочник для каталогизации техник атак на системы машинного обучения — так же, как классический ред-тимер обращается к ATT&CK [3].

Безопасность моделей и агентов — более узкая, инженерно ориентированная роль: защита прикладного уровня вокруг развёрнутой модели, а не её весов или обучающих данных. OWASP Top 10 for LLM Applications ближе всего к общей учебной программе этой подобласти, а его категории одновременно служат приблизительным описанием должностных обязанностей: prompt injection, небезопасная обработка вывода, отравление данных и моделей, избыточные полномочия автономного агента и риски цепочки поставок в библиотеках и сторонних моделях, от которых зависит приложение [2]. Люди, выполняющие эту работу, как правило, приходят из безопасности приложений, а не из науки о данных, поскольку ключевой навык — анализ того, как недоверенный ввод проходит через систему, — здесь лишь применяется к системам нового типа.

Инженерия обнаружения с использованием ИИ относится к категории NICE Protection and Defense и во многом пересекается с существующей работой центров мониторинга безопасности: создание правил, моделей и конвейеров, которые превращают сырую телеметрию в оповещения, на которые может отреагировать человек, причём теперь среди входных данных есть и сигналы, сгенерированные ИИ или полученные с его помощью [1]. MITRE D3FEND — граф знаний о защитных контрмерах, созданный совместно MITRE и Cybersecurity Directorate АНБ, — ближайший опубликованный справочник для этой стороны работы: он группирует средства защиты в шесть тактик — Model, Harden, Detect, Isolate, Deceive и Restore — и сопоставляет конкретные контрмеры с атакующими техниками, которым они противостоят, давая инженерам обнаружения общий язык для описания того, что на самом деле делает тот или иной механизм контроля [7]. Сам D3FEND не специфичен для ИИ; роль состоит в его применении к конвейерам, которые теперь включают сигналы, полученные от ИИ.

Управление ИИ (AI governance) — самая новая область и, судя по имеющимся данным, сейчас крупнейший отдельный предмет заявленной обеспокоенности работодателей и специалистов. Собственный фреймворк NIST рассматривает управление как одну из четырёх основных функций, охватывающую организационный надзор, структуры ответственности и политику ещё до применения каких-либо технических мер контроля [4]. В сентябре 2026 года ISC2 провела в LinkedIn опрос более 500 специалистов по кибербезопасности о том, что в первую очередь требует определения по мере того, как ИИ меняет профессию; 68 процентов выбрали «управление ИИ и соответствие требованиям», опередив фреймворки моделирования угроз для ИИ (16 процентов), защиту конвейеров данных ИИ (11 процентов) и защиту от состязательных атак (5 процентов) [8]. Опрос такого объёма и формата не является научной выборкой по всей профессии — к этому статья возвращается в разделе «Ограничения», — но направление результата, при котором вопросы управления опережают все технические категории вместе взятые, трудно истолковать иначе.

Составлено по источникам, цитируемым в этой статье; ни одно из этих названий не является официальной рабочей ролью NICE.
РольЧем занимаетсяОткуда приходятСправочные материалы
Ред-тиминг ИИМногократно исследует развёрнутые системы ИИ на сбои и злоупотребления с учётом вероятностного характера их выводаТестирование на проникновение, исследования состязательного МОMITRE ATLAS [3]
Безопасность моделей и агентовЗащищает прикладной уровень и цепочку поставок вокруг развёрнутой модели или агентаБезопасность приложенийOWASP LLM Top 10 [2]
Инженерия обнаруженияСоздаёт и настраивает конвейеры, превращающие телеметрию, включая сигналы от ИИ, в оповещенияОперации безопасности, аналитика SOCMITRE D3FEND [7]
Управление ИИОпределяет политику, ответственность и меры контроля рисков при внедрении ИИ в организацииУправление рисками, комплаенсNIST AI RMF [4]

Анализ

Если рассмотреть роли рядом, выделяются две особенности. Во-первых, ни одна из них не является разрывом с существующей работой в кибербезопасности: каждая представляет собой традиционную дисциплину (ред-тиминг, безопасность приложений, операции безопасности, управление), применённую к объектам нового типа. Это согласуется с тем, что следует из данных CyberSeek: поскольку лишь 10 процентов вакансий прямо упоминают навыки работы с ИИ, большинство работодателей пока не нанимают на отдельную роль «безопасности ИИ», а скорее расширяют круг задач существующих ролей [5]. Во-вторых, путь в каждую из четырёх ролей по-прежнему начинается с общей подготовки в кибербезопасности. Формулировки задач, знаний и навыков для существующих категорий NICE Framework — а не отдельное направление по ИИ — остаются базой, которую описывают работодатели и учебные организации [1], а начальный сертификат ISC2 Certified in Cybersecurity (CC), не требующий опыта работы, по-прежнему охватывает общие принципы безопасности, управление, управление идентификацией и доступом, сети и операции безопасности, прежде чем переходить к чему-либо, связанному с ИИ [9].

В эти роли приходят немногими проторёнными путями, а не через единый конвейер: базовая подготовка по кибербезопасности (самостоятельно, на интенсивных курсах или в вузе) с последующей специализацией уже внутри команды; опыт в разработке ПО или науке о данных, который смещается в сторону безопасности, когда команде нужен кто-то, кто защитит созданное; и практика в соревнованиях capture-the-flag, которые теперь включают модули по безопасности ИИ. CyLab Security Academy Университета Карнеги — Меллона развивает picoCTF — бесплатную платформу, которая расширилась «от базовых основ безопасности до продвинутых областей, таких как безопасность ИИ», и рассматривает доказательством навыка, которое она отслеживает со временем, устойчивое участие, а не отдельный сертификат [10]. Если обобщить перечисленные источники, работодатели обычно ожидают практического знания одного или нескольких документов — NICE, OWASP LLM Top 10, MITRE ATLAS или D3FEND и NIST AI RMF — наряду с общими основами безопасности, на которых построена каждая из четырёх ролей.

  • Сначала основы кибербезопасности: триада CIA, различие между угрозами, уязвимостями и рисками, социальная инженерия — понятийный аппарат, который предполагает каждая из четырёх ролей. Этот материал охватывает курс FireAI University Foundations of cybersecurity.
  • Затем моделирование угроз: умение рассуждать о том, кто и почему стал бы атаковать систему, до специализации на конкретной технике. См. Threat modelling and risk.
  • Далее — направление: наступательная работа в сторону ред-тиминга ИИ через Offensive security: how the red team thinks и Adversarial AI and threat hunting; оборонительная работа в сторону инженерии обнаружения через Defensive operations: how the blue team works и, для защиты на уровне хоста, AI-driven desktop defense.

Рекомендации

  1. Формируйте общую базу до специализации: большинство описаний вакансий по-прежнему опираются на существующие категории NICE Framework, а не на отдельное направление по ИИ [1].
  2. Прочитайте OWASP Top 10 for LLM Applications и хотя бы бегло просмотрите разборы случаев в MITRE ATLAS; оба ресурса бесплатны, открыты, и от специалистов в этих ролях ожидают, что они уже знакомы с ними [2] [3].
  3. Практикуйтесь на CTF-платформе с заданиями по безопасности ИИ, например picoCTF, а не считайте одну теорию достаточной [10].
  4. Если вас интересует управление, изучите четыре функции NIST AI RMF непосредственно по первоисточнику; опрос ISC2 указывает, что работодатели сейчас ставят эту область выше любой отдельной технической специализации [4] [8].
  5. Следите за тем, как на самом деле развиваются угрозы и инструменты, а не полагайтесь на один статичный источник, — например, по регулярно обновляемому исследовательскому журналу вроде FireAI Radar.

Ограничения

Опубликованная версия NICE Framework пока не определяет рабочих ролей, специфичных для ИИ; четыре группы в этой статье — синтез смежных стандартов, выполненный авторами публикации, а не официальная таксономия, и названия должностей для одной и той же работы у разных работодателей сильно различаются [1]. Опрос ISC2 об управлении собрал более 500 ответов от одной аудитории LinkedIn, участники которой сами решили ответить; это реальный сигнал о настроениях специалистов, а не вероятностная выборка по профессии, и погрешность не указана [8]. Показатель CyberSeek в 10 процентов учитывает любую вакансию, где вообще упоминаются навыки работы с ИИ, что может включать общую ИИ-грамотность, а не именно работу в области безопасности ИИ, и относится только к рынку США [5]. О заработной плате: единственный изученный источник с конкретными цифрами — данные ISC2 о сертификациях за 2024 год — не относится специально к ролям в безопасности ИИ: по состоянию на май 2024 года он сообщал о средних мировых зарплатах от $94 948 для близкого к начальному уровню сертификата SSCP до $119 577 для CISSP, — и ни один из источников, использованных для этой статьи, не приводит отдельных надёжных данных для специалистов по безопасности ИИ [11].

Какое место здесь занимают FireAI и HisnLabs

Ни одна из четырёх описанных в статье ролей не является функцией файрвола; FireAI — более узкий инструмент, работающий на устройстве, и честная связь с карьерой в этой области проходит через практику и справочные материалы, а не через сам продукт.

FireAI — это собственный продукт HisnLabs: ИИ-файрвол, работающий прямо на вашем Mac. Он показывает простым языком каждое соединение, которое устанавливают ваши приложения, и позволяет вам решать, что покидает ваш Mac, — его ИИ работает локально, поэтому ваш трафик никогда не отправляется ни нам, ни кому-либо ещё. Команда исследователей безопасности HisnLabs — это те, кто поддерживает точность этих решений: они каталогизируют, какие домены являются обычной телеметрией, а какие — реальным сервисом, отслеживают страну и сеть, стоящие за соединением, и обучают локальную модель (функцию FireAI Pilot) на реальных шаблонах трафика — и ничего из этого не покидает ваш Mac.

Вы можете прочитать о технических решениях, лежащих в его основе, или попробовать FireAI в течение 17 дней на странице FireAI от HisnLabs.

Источники