# AI 网络安全职业：你需要了解的内容

> AI 网络安全并不是一份工作，而至少是四种：对模型进行对抗性测试、保护模型周边的软件、在检测工作中使用 AI，以及治理组织采用 AI 的方式。

FireAI Security & Research Team (HisnLabs) · Published 2026-09-27
Canonical: https://hisnlabs.com/zh/blog/ai-wangluo-anquan-zhiye-zhinan

“AI 网络安全”并不是任何雇主组织架构图上的单一职位名称。它指的是过去几年在现有安全团队内部出现的一组角色，每一种都借用传统安全学科的不同部分：像渗透测试人员探查应用那样测试 AI 系统；保护部署模型周边的软件和流水线；把 AI 工具用于检测与响应工作；以及从一开始就治理组织如何采用这项技术。下文引用的标准机构和劳动力研究都没有把这些视为同一个角色，本文也不这样看待。

## 背景

美国大多数雇主和培训机构在描述一般网络安全工作时所用的参照，是由 NIST 维护、CISA 托管的 NICE 网络安全劳动力框架（NICE Workforce Framework for Cybersecurity）。它把这一职业划分为若干工作角色类别——监督与治理、设计与开发、实施与运营、保护与防御，以及调查——每个类别再细分为任务、知识和技能陈述，而不是固定的职位名称 [[1]](https://niccs.cisa.gov/workforce-development/nice-framework)。截至本文撰写时，已发布的框架中还没有专门针对 AI 的工作角色类别；本文描述的角色都位于其现有类别之内，在框架未涉及之处借用更新的、专门针对 AI 的参考资料中的术语。

这些较新的资料主要来自三处：OWASP 的 Gen AI Security Project，它发布了 LLM 应用十大风险（Top 10 for LLM Applications），列出了提示注入、敏感信息泄露、供应链风险和过度代理等风险类别 [[2]](https://genai.owasp.org/llm-top-10/)；MITRE ATLAS，一个公开的知识库，收录针对 AI 系统的攻击者战术与技术，是 MITRE ATT&CK 框架的配套项目 [[3]](https://atlas.mitre.org/)；以及 NIST AI 风险管理框架，它把 AI 风险工作组织为四项职能——治理、映射、测量和管理 [[4]](https://www.nist.gov/itl/ai-risk-management-framework)。在实践中，下文四种角色中的任何一种从业者，都被期望至少熟悉这三份文件之一。

在劳动力市场方面，CyberSeek——由 NICE、CompTIA 和劳动力分析公司 Lightcast 联合开展的项目——在 2024 年 5 月至 2025 年 4 月期间追踪到美国市场 514,359 条网络安全职位招聘信息，而全球网络安全从业人员估计约为 4,970,000 人。在这些招聘信息中，CyberSeek 发现有 10% 明确将 AI 技能列为要求 [[5]](https://www.cyberseek.org/)。这只是少数岗位，而这一点决定了应如何解读本文其余部分：AI 安全工作目前是在网络安全职业基础之上叠加的一层，而尚未形成一个独立的劳动力市场。

## 证据

AI 红队测试是四种角色中公开文献最多的一种。微软的 AI 红队成立于 2018 年，将其工作描述为测试 AI 系统是否会被恶意滥用以及是否会出现普通故障。其对这项工作的自述强调了它与测试传统软件的两点不同：生成式系统是概率性的，因此“同一输入两次可能得到不同输出”，这迫使测试人员反复尝试，而不是做一次确定性的测试；同时，构建在这些模型之上的应用比传统软件“变化得更快”，因此一次性的评估会更快过时 [[6]](https://www.microsoft.com/en-us/security/blog/2023/08/07/microsoft-ai-red-team-building-future-of-safer-ai/)。这一角色的从业者把 MITRE ATLAS 作为编目针对机器学习系统攻击技术的工作参考，正如传统红队人员参考 ATT&CK 一样 [[3]](https://atlas.mitre.org/)。

模型与智能体安全是一个更窄、更偏工程的角色：保护部署模型周边的应用层，而不是模型自身的权重或训练数据。OWASP 的 LLM 应用十大风险是这一子领域最接近共同课程大纲的东西，其类别也大致可以充当职位描述——提示注入、不安全的输出处理、数据与模型投毒、授予自主智能体的过度代理权限，以及应用所依赖的库和第三方模型中的供应链风险 [[2]](https://genai.owasp.org/llm-top-10/)。从事这项工作的人往往来自应用安全而非数据科学，因为其核心技能是审查不可信输入如何在系统中流动，只是应用到了一种更新的系统上。

基于 AI 的检测工程属于 NICE 的保护与防御类别，与现有的安全运营工作高度重叠：构建规则、模型和流水线，把原始遥测数据转化为人可以据此行动的告警，而如今输入中也包括 AI 生成或 AI 辅助的信号 [[1]](https://niccs.cisa.gov/workforce-development/nice-framework)。MITRE D3FEND 是由 MITRE 与 NSA 网络安全局联合构建的防御对策知识图谱，是这一方面最接近的公开参考：它把防御组织为六种战术——建模、加固、检测、隔离、欺骗和恢复——并把具体对策映射到它们所针对的攻击技术，为检测工程师提供了描述某项控制实际作用的共同词汇 [[7]](https://d3fend.mitre.org/)。D3FEND 本身并不专门针对 AI；这一角色要做的，是把它应用到如今包含 AI 衍生信号的流水线上。

AI 治理是最新的领域，而根据现有证据，它也是目前雇主和从业者明确表示关注最多的单一领域。NIST 自己的框架把治理列为四项核心职能之一，涵盖在应用任何技术控制之前的组织监督、问责结构和政策 [[4]](https://www.nist.gov/itl/ai-risk-management-framework)。ISC2 于 2026 年 9 月在 LinkedIn 上对 500 多名网络安全专业人员进行了一项调查，询问在 AI 重塑这一职业的过程中最需要明确界定的是什么；68% 的人选择了“AI 治理与合规”，领先于 AI 威胁建模框架（16%）、保护 AI 数据流水线（11%）和对抗性攻击防御（5%） [[8]](https://www.isc2.org/insights/2026/09/ai-governance-emerges-as-top-priority)。这种规模和形式的调查并不是对整个职业的科学抽样，本文将在“局限”一节再谈这一点；但结果的方向——治理工作超过所有技术类别之和——很难有别的解读。

| 角色 | 工作内容 | 来源背景 | 参考资料 |
| --- | --- | --- | --- |
| AI 红队测试 | 鉴于输出是概率性的，反复探查已部署 AI 系统的故障与滥用 | 渗透测试、对抗性机器学习研究 | MITRE ATLAS [[3]](https://atlas.mitre.org/) |
| 模型 / 智能体安全 | 保护已部署模型或智能体周边的应用层和供应链 | 应用安全 | OWASP LLM Top 10 [[2]](https://genai.owasp.org/llm-top-10/) |
| 检测工程 | 构建并调优把遥测数据（包括 AI 衍生信号）转化为告警的流水线 | 安全运营、SOC 分析 | MITRE D3FEND [[7]](https://d3fend.mitre.org/) |
| AI 治理 | 为组织采用 AI 制定政策、问责机制和风险控制 | 风险管理、合规 | NIST AI RMF [[4]](https://www.nist.gov/itl/ai-risk-management-framework) |

*根据本文引用的资料整理；以下均不是 NICE 官方的工作角色名称。*

## 分析

把这些角色并列来看，有两点十分突出。第一，没有一种角色与现有网络安全工作彻底割裂——每一种都是某个传统学科（红队测试、应用安全、安全运营、治理）应用到一种更新的目标上。这与 CyberSeek 的数据所显示的情况一致：只有 10% 的招聘信息明确提到 AI 技能，大多数雇主目前与其说是在招聘独立的“AI 安全”角色，不如说是在要求现有角色覆盖更多领域 [[5]](https://www.cyberseek.org/)。第二，进入这四种角色中任何一种的路径，仍然首先要经过一般网络安全基础。雇主和培训机构所描述的基线，依然是 NICE 框架中现有类别的任务、知识和技能陈述，而不是单独的 AI 方向 [[1]](https://niccs.cisa.gov/workforce-development/nice-framework)；ISC2 的入门级认证 Certified in Cybersecurity（CC）不要求任何工作经验，其内容仍然是一般安全原则、治理、身份与访问管理、网络和安全运营，然后才涉及任何 AI 专门内容 [[9]](https://www.isc2.org/certifications/cc)。

人们进入这些角色的路径为数不多且早已成形，而不是一条单一的通道：先打下网络安全基础（自学、训练营或学位），进入团队后再专精；具有软件或数据科学背景的人，在团队需要有人保护自己构建的系统时转向安全；以及通过夺旗赛（CTF）进行实践，而夺旗赛如今也包含 AI 安全模块。卡内基梅隆大学 CyLab 安全学院运营的 picoCTF 是一个免费平台，已经“从基础安全知识扩展到 AI 安全等高级领域”，并把持续参与而非单张证书视为其长期追踪的技能证明 [[10]](https://picoctf.org/)。综合上述资料来看，雇主要求的通常是对 NICE、OWASP LLM 十大风险、MITRE ATLAS 或 D3FEND、NIST AI RMF 中一种或几种的实际了解，以及四种角色共同依赖的一般安全基础。

- 先打网络安全基础：CIA 三要素，威胁、漏洞与风险的区别，以及社会工程学——这是四种角色都默认掌握的词汇。FireAI University 的 [Foundations of cybersecurity](https://hisnlabs.com/en/university/cybersecurity-foundations) 涵盖了这些内容。
- 接着学习威胁建模：在专精某项技术之前，先学会推理谁会攻击某个系统以及为什么。参见 [Threat modelling and risk](https://hisnlabs.com/en/university/threat-modeling-and-risk)。
- 然后选择方向：进攻方向通往 AI 红队测试，可参见 [Offensive security: how the red team thinks](https://hisnlabs.com/en/university/offensive-security-red-team) 和 [Adversarial AI and threat hunting](https://hisnlabs.com/en/university/adversarial-ai-and-threat-hunting)；防御方向通往检测工程，可参见 [Defensive operations: how the blue team works](https://hisnlabs.com/en/university/defensive-operations-blue-team)，以及针对主机侧问题的 [AI-driven desktop defense](https://hisnlabs.com/en/university/ai-driven-desktop-defense)。

## 建议

1. 先打好一般基础，再进行专精：大多数职位描述依据的仍是 NICE 框架的现有类别，而不是只针对 AI 的方向 [[1]](https://niccs.cisa.gov/workforce-development/nice-framework)。
2. 阅读 OWASP 的 LLM 应用十大风险，并至少浏览 MITRE ATLAS 的案例研究；两者都免费公开，也是这些角色的从业者被期望早已熟悉的文件 [[2]](https://genai.owasp.org/llm-top-10/) [[3]](https://atlas.mitre.org/)。
3. 在包含 AI 安全挑战的 CTF 平台（例如 picoCTF）上练习，而不是认为只学理论就足够 [[10]](https://picoctf.org/)。
4. 如果你对治理感兴趣，请直接研究 NIST AI RMF 的四项职能；ISC2 的调查表明，雇主目前对这一领域的重视程度高于任何单一技术专长 [[4]](https://www.nist.gov/itl/ai-risk-management-framework) [[8]](https://www.isc2.org/insights/2026/09/ai-governance-emerges-as-top-priority)。
5. 通过持续更新的研究日志（例如 [FireAI Radar](https://hisnlabs.com/en/radar)）追踪底层威胁和工具的实际演变，而不是依赖任何单一的静态资料。

> FireAI University 免费发布本文多处提及的网络安全基础和 AI 安全课程，FireAI Radar 则记录实验室目前正在测试的 AI 模型、工具和技术。 [Download FireAI for Mac](https://hisnlabs.com/en/download)

## 局限

已发布的 NICE 框架尚未定义专门针对 AI 的工作角色；本文中的四种划分是本刊对相关标准的综合，而非官方分类，而且同一工作的职位名称在不同雇主之间差异很大 [[1]](https://niccs.cisa.gov/workforce-development/nice-framework)。ISC2 的治理调查收集了 500 多名受访者的回答，他们来自同一个 LinkedIn 受众群体，并且是自愿作答；这确实反映了从业者的态度，但不是对整个职业的概率抽样，其误差范围也未注明 [[8]](https://www.isc2.org/insights/2026/09/ai-governance-emerges-as-top-priority)。CyberSeek 的 10% 这一数字统计的是任何提到 AI 技能的招聘信息，其中可能包括一般的 AI 素养而非专门的 AI 安全工作，并且只覆盖美国市场 [[5]](https://www.cyberseek.org/)。关于薪酬：所获取的资料中唯一给出具体薪资数字的是 ISC2 2024 年的全球认证数据，但它并非专门针对 AI 安全角色——截至 2024 年 5 月，其报告的全球平均薪资从接近入门级的 SSCP 认证的 94,948 美元到 CISSP 的 119,577 美元不等——本文查阅的资料中，没有任何一份为 AI 安全专家单独给出可靠的数字 [[11]](https://www.isc2.org/Insights/2024/05/ISC2-Reveals-Global-ISC2-Certification-Salaries)。

## FireAI 和 HisnLabs 在其中扮演的角色

本文描述的四种角色都不是防火墙所能承担的工作；FireAI 是一款范围更窄的设备端工具，与这一领域职业真正相关的途径是实践和参考资料，而不是产品本身。

FireAI 是 HisnLabs 自己的产品：一款直接在 Mac 上运行的 AI 防火墙。它用通俗易懂的语言显示你的应用建立的每一个连接，并让你决定哪些数据可以离开你的 Mac——它的 AI 在本地运行，因此你的流量永远不会发送给我们或任何其他人。HisnLabs 的安全研究团队负责让这些判断保持准确：归类哪些域名只是普通的遥测、哪些属于真正的服务，追踪连接背后的国家和网络，并用真实的流量模式训练设备端模型（FireAI Pilot 功能）——这一切都不会离开你的 Mac。

你可以阅读它背后的技术决策，或试用 FireAI 17 天：[HisnLabs 出品的 FireAI](https://hisnlabs.com/zh/download)。

## Sources

- [NICE Workforce Framework for Cybersecurity (NIST, via CISA NICCS)](https://niccs.cisa.gov/workforce-development/nice-framework)
- [OWASP Gen AI Security Project: Top 10 for LLM Applications](https://genai.owasp.org/llm-top-10/)
- [MITRE ATLAS: Adversarial Threat Landscape for AI Systems](https://atlas.mitre.org/)
- [NIST AI Risk Management Framework](https://www.nist.gov/itl/ai-risk-management-framework)
- [CyberSeek: cybersecurity supply/demand data (NICE, CompTIA, Lightcast)](https://www.cyberseek.org/)
- [Microsoft Security Blog: AI Red Team, building the future of safer AI](https://www.microsoft.com/en-us/security/blog/2023/08/07/microsoft-ai-red-team-building-future-of-safer-ai/)
- [MITRE D3FEND: knowledge graph of cybersecurity countermeasures](https://d3fend.mitre.org/)
- [ISC2: poll, AI governance emerges as top cybersecurity priority](https://www.isc2.org/insights/2026/09/ai-governance-emerges-as-top-priority)
- [ISC2: Certified in Cybersecurity (CC)](https://www.isc2.org/certifications/cc)
- [picoCTF, Carnegie Mellon University CyLab Security Academy](https://picoctf.org/)
- [ISC2: global certification salary data (2024)](https://www.isc2.org/Insights/2024/05/ISC2-Reveals-Global-ISC2-Certification-Salaries)