FireAI 安全博客

作者 FireAI Security & Research Team · 发布于

AI 网络安全职业:你需要了解的内容

AI 网络安全职业:你需要了解的内容

“AI 网络安全”并不是任何雇主组织架构图上的单一职位名称。它指的是过去几年在现有安全团队内部出现的一组角色,每一种都借用传统安全学科的不同部分:像渗透测试人员探查应用那样测试 AI 系统;保护部署模型周边的软件和流水线;把 AI 工具用于检测与响应工作;以及从一开始就治理组织如何采用这项技术。下文引用的标准机构和劳动力研究都没有把这些视为同一个角色,本文也不这样看待。

背景

美国大多数雇主和培训机构在描述一般网络安全工作时所用的参照,是由 NIST 维护、CISA 托管的 NICE 网络安全劳动力框架(NICE Workforce Framework for Cybersecurity)。它把这一职业划分为若干工作角色类别——监督与治理、设计与开发、实施与运营、保护与防御,以及调查——每个类别再细分为任务、知识和技能陈述,而不是固定的职位名称 [1]。截至本文撰写时,已发布的框架中还没有专门针对 AI 的工作角色类别;本文描述的角色都位于其现有类别之内,在框架未涉及之处借用更新的、专门针对 AI 的参考资料中的术语。

这些较新的资料主要来自三处:OWASP 的 Gen AI Security Project,它发布了 LLM 应用十大风险(Top 10 for LLM Applications),列出了提示注入、敏感信息泄露、供应链风险和过度代理等风险类别 [2];MITRE ATLAS,一个公开的知识库,收录针对 AI 系统的攻击者战术与技术,是 MITRE ATT&CK 框架的配套项目 [3];以及 NIST AI 风险管理框架,它把 AI 风险工作组织为四项职能——治理、映射、测量和管理 [4]。在实践中,下文四种角色中的任何一种从业者,都被期望至少熟悉这三份文件之一。

在劳动力市场方面,CyberSeek——由 NICE、CompTIA 和劳动力分析公司 Lightcast 联合开展的项目——在 2024 年 5 月至 2025 年 4 月期间追踪到美国市场 514,359 条网络安全职位招聘信息,而全球网络安全从业人员估计约为 4,970,000 人。在这些招聘信息中,CyberSeek 发现有 10% 明确将 AI 技能列为要求 [5]。这只是少数岗位,而这一点决定了应如何解读本文其余部分:AI 安全工作目前是在网络安全职业基础之上叠加的一层,而尚未形成一个独立的劳动力市场。

证据

AI 红队测试是四种角色中公开文献最多的一种。微软的 AI 红队成立于 2018 年,将其工作描述为测试 AI 系统是否会被恶意滥用以及是否会出现普通故障。其对这项工作的自述强调了它与测试传统软件的两点不同:生成式系统是概率性的,因此“同一输入两次可能得到不同输出”,这迫使测试人员反复尝试,而不是做一次确定性的测试;同时,构建在这些模型之上的应用比传统软件“变化得更快”,因此一次性的评估会更快过时 [6]。这一角色的从业者把 MITRE ATLAS 作为编目针对机器学习系统攻击技术的工作参考,正如传统红队人员参考 ATT&CK 一样 [3]。

模型与智能体安全是一个更窄、更偏工程的角色:保护部署模型周边的应用层,而不是模型自身的权重或训练数据。OWASP 的 LLM 应用十大风险是这一子领域最接近共同课程大纲的东西,其类别也大致可以充当职位描述——提示注入、不安全的输出处理、数据与模型投毒、授予自主智能体的过度代理权限,以及应用所依赖的库和第三方模型中的供应链风险 [2]。从事这项工作的人往往来自应用安全而非数据科学,因为其核心技能是审查不可信输入如何在系统中流动,只是应用到了一种更新的系统上。

基于 AI 的检测工程属于 NICE 的保护与防御类别,与现有的安全运营工作高度重叠:构建规则、模型和流水线,把原始遥测数据转化为人可以据此行动的告警,而如今输入中也包括 AI 生成或 AI 辅助的信号 [1]。MITRE D3FEND 是由 MITRE 与 NSA 网络安全局联合构建的防御对策知识图谱,是这一方面最接近的公开参考:它把防御组织为六种战术——建模、加固、检测、隔离、欺骗和恢复——并把具体对策映射到它们所针对的攻击技术,为检测工程师提供了描述某项控制实际作用的共同词汇 [7]。D3FEND 本身并不专门针对 AI;这一角色要做的,是把它应用到如今包含 AI 衍生信号的流水线上。

AI 治理是最新的领域,而根据现有证据,它也是目前雇主和从业者明确表示关注最多的单一领域。NIST 自己的框架把治理列为四项核心职能之一,涵盖在应用任何技术控制之前的组织监督、问责结构和政策 [4]。ISC2 于 2026 年 9 月在 LinkedIn 上对 500 多名网络安全专业人员进行了一项调查,询问在 AI 重塑这一职业的过程中最需要明确界定的是什么;68% 的人选择了“AI 治理与合规”,领先于 AI 威胁建模框架(16%)、保护 AI 数据流水线(11%)和对抗性攻击防御(5%) [8]。这种规模和形式的调查并不是对整个职业的科学抽样,本文将在“局限”一节再谈这一点;但结果的方向——治理工作超过所有技术类别之和——很难有别的解读。

根据本文引用的资料整理;以下均不是 NICE 官方的工作角色名称。
角色工作内容来源背景参考资料
AI 红队测试鉴于输出是概率性的,反复探查已部署 AI 系统的故障与滥用渗透测试、对抗性机器学习研究MITRE ATLAS [3]
模型 / 智能体安全保护已部署模型或智能体周边的应用层和供应链应用安全OWASP LLM Top 10 [2]
检测工程构建并调优把遥测数据(包括 AI 衍生信号)转化为告警的流水线安全运营、SOC 分析MITRE D3FEND [7]
AI 治理为组织采用 AI 制定政策、问责机制和风险控制风险管理、合规NIST AI RMF [4]

分析

把这些角色并列来看,有两点十分突出。第一,没有一种角色与现有网络安全工作彻底割裂——每一种都是某个传统学科(红队测试、应用安全、安全运营、治理)应用到一种更新的目标上。这与 CyberSeek 的数据所显示的情况一致:只有 10% 的招聘信息明确提到 AI 技能,大多数雇主目前与其说是在招聘独立的“AI 安全”角色,不如说是在要求现有角色覆盖更多领域 [5]。第二,进入这四种角色中任何一种的路径,仍然首先要经过一般网络安全基础。雇主和培训机构所描述的基线,依然是 NICE 框架中现有类别的任务、知识和技能陈述,而不是单独的 AI 方向 [1];ISC2 的入门级认证 Certified in Cybersecurity(CC)不要求任何工作经验,其内容仍然是一般安全原则、治理、身份与访问管理、网络和安全运营,然后才涉及任何 AI 专门内容 [9]。

人们进入这些角色的路径为数不多且早已成形,而不是一条单一的通道:先打下网络安全基础(自学、训练营或学位),进入团队后再专精;具有软件或数据科学背景的人,在团队需要有人保护自己构建的系统时转向安全;以及通过夺旗赛(CTF)进行实践,而夺旗赛如今也包含 AI 安全模块。卡内基梅隆大学 CyLab 安全学院运营的 picoCTF 是一个免费平台,已经“从基础安全知识扩展到 AI 安全等高级领域”,并把持续参与而非单张证书视为其长期追踪的技能证明 [10]。综合上述资料来看,雇主要求的通常是对 NICE、OWASP LLM 十大风险、MITRE ATLAS 或 D3FEND、NIST AI RMF 中一种或几种的实际了解,以及四种角色共同依赖的一般安全基础。

建议

  1. 先打好一般基础,再进行专精:大多数职位描述依据的仍是 NICE 框架的现有类别,而不是只针对 AI 的方向 [1]。
  2. 阅读 OWASP 的 LLM 应用十大风险,并至少浏览 MITRE ATLAS 的案例研究;两者都免费公开,也是这些角色的从业者被期望早已熟悉的文件 [2] [3]。
  3. 在包含 AI 安全挑战的 CTF 平台(例如 picoCTF)上练习,而不是认为只学理论就足够 [10]。
  4. 如果你对治理感兴趣,请直接研究 NIST AI RMF 的四项职能;ISC2 的调查表明,雇主目前对这一领域的重视程度高于任何单一技术专长 [4] [8]。
  5. 通过持续更新的研究日志(例如 FireAI Radar)追踪底层威胁和工具的实际演变,而不是依赖任何单一的静态资料。

局限

已发布的 NICE 框架尚未定义专门针对 AI 的工作角色;本文中的四种划分是本刊对相关标准的综合,而非官方分类,而且同一工作的职位名称在不同雇主之间差异很大 [1]。ISC2 的治理调查收集了 500 多名受访者的回答,他们来自同一个 LinkedIn 受众群体,并且是自愿作答;这确实反映了从业者的态度,但不是对整个职业的概率抽样,其误差范围也未注明 [8]。CyberSeek 的 10% 这一数字统计的是任何提到 AI 技能的招聘信息,其中可能包括一般的 AI 素养而非专门的 AI 安全工作,并且只覆盖美国市场 [5]。关于薪酬:所获取的资料中唯一给出具体薪资数字的是 ISC2 2024 年的全球认证数据,但它并非专门针对 AI 安全角色——截至 2024 年 5 月,其报告的全球平均薪资从接近入门级的 SSCP 认证的 94,948 美元到 CISSP 的 119,577 美元不等——本文查阅的资料中,没有任何一份为 AI 安全专家单独给出可靠的数字 [11]。

FireAI 和 HisnLabs 在其中扮演的角色

本文描述的四种角色都不是防火墙所能承担的工作;FireAI 是一款范围更窄的设备端工具,与这一领域职业真正相关的途径是实践和参考资料,而不是产品本身。

FireAI 是 HisnLabs 自己的产品:一款直接在 Mac 上运行的 AI 防火墙。它用通俗易懂的语言显示你的应用建立的每一个连接,并让你决定哪些数据可以离开你的 Mac——它的 AI 在本地运行,因此你的流量永远不会发送给我们或任何其他人。HisnLabs 的安全研究团队负责让这些判断保持准确:归类哪些域名只是普通的遥测、哪些属于真正的服务,追踪连接背后的国家和网络,并用真实的流量模式训练设备端模型(FireAI Pilot 功能)——这一切都不会离开你的 Mac。

你可以阅读它背后的技术决策,或试用 FireAI 17 天:HisnLabs 出品的 FireAI。

来源