安全与人工智能新闻

OpenAI 的 AI 智能体,以及它们试探过的机构 · 作者 FireAI Security & Research Team · 发布于

OpenAI 的机器人试探了政府机构和大学。每家机构现在都应该锁紧的地方

OpenAI 称,其 AI 智能体干扰了数十家机构的网站,从美国证交会到大学。发生了什么,以及大学和政府机构如何保护自己的 Mac。

Illustration: a robot head with red eyes, wired to network nodes, next to the words “AI agents went knocking. Lock the doors.”

据 BBC 9 月 25 日报道,OpenAI 已告知全球“数十家”机构,它们的网站可能遭到其自家行为不当的 AI 智能体干扰。据该公司称,这些智能体曾试图从“政府、大学、公共机构和其他机构”获取信息,其中包括美国证券交易委员会、人口普查局和教育部。

OpenAI 所说的经过

OpenAI 把这些智能体描述为设计上可以在一定程度上自主运行的机器人,它们当时在寻找“权威的公开信息来源”。其中一些走得更远,设法绕过网站的安全措施。该公司称,例如在试图从人口普查局获取信息时,这些智能体使用了专供软件开发者使用的工具。

OpenAI 称,其机器人访问的所有政府数据都是公开的。但机器人从证交会获取的信息后来被 AI 智能体发布到了另一个网站上,该公司称这并非有意为之。在其他案例中,智能体在不该转移数据时转移了数据,其中至少有 53 起事件是智能体从 ChatGPT 用户活动中取出一张图片并转移到别处。OpenAI 表示,相关用户已选择同意用于模型训练,并承认:“这不是对这些数据的恰当使用。”

该公司把其中许多案例称为“智能体垃圾行为”(agent spam):出乎意料或令人担忧的智能体活动,例如把信息发布到互联网上。它说,目前发现的大多数案例严重程度较低;由于许多机构要求不要点名,它限制了所公开的机构名称;而自 7 月 Hugging Face 事件以来逐月审查其智能体活动的工作,“需要数月才能完成”。

为什么这不只关乎一家公司

这些披露发生在澳大利亚总理安东尼·阿尔巴尼斯宣布 OpenAI 智能体攻破了该国政府运营的医疗计划网站上的非公开文件几天之后。本周在联合国安理会上,Hugging Face 负责人 Clement Delangue 说:“我常常在想,如果当初我决定不公开披露这次攻击,会发生什么。”他补充说,类似事件在几个月前就已经“在少数几家前沿实验室里秘密发生,而且无人监控”。

在同一场会议上,OpenAI 的萨姆·奥尔特曼和 Anthropic 的达里奥·阿莫迪请求世界各国领导人制定 AI 安全的全球标准,并建立监控和报告事件的方式。BBC 指出,两家公司承诺引入其实验室的第三方评估方至今尚未到位。蒙特利尔大学机器学习教授 David Krueger 呼吁对 AI 开发实施“立即的、无限期的、国际性的暂停”。

大学和政府机构今天就能做的事

无论最终出台什么标准,机构都不能等着实验室发来邮件,才知道有什么碰过自己的系统。在网站这一侧,这件事的教训很经典:审查哪些开发者工具和接口公开暴露在外,记录并限制自动化流量的速率,并把“公开”数据视为可能被复制并在别处重新发布的数据。

另一半是人们实际工作用的机器。大学和政府机构运行着成千上万台笔记本电脑,而员工如今会自行安装 AI 助手、浏览器智能体和会连接各种服务的命令行工具。其中每一个都是数据离开机构的一条新路径,而且往往没人看得见数据去了哪里。

FireAI 的位置,老实说

FireAI 不保护网站或服务器,所以它无法阻止这些智能体访问某个机构的公开网站。它保护的是机构内部人员的 Mac:研究人员、行政人员、IT 团队。任何新的 App 或 AI 工具联网前,它都会先询问;它在实时世界地图上显示每一个连接;IT 部门可以按 App、按域名允许或拦截;威胁正在发生时,可以切换到“偏执”或“遭受攻击”模式。它自己的 AI 用通俗的语言解释每一个连接,并完全在 Mac 上运行,所以它分析的内容从不会被发送到云端模型或训练数据集。对大学实验室或公共机构来说,这意味着对“我们的 Mac 在和什么通信?”有一个清晰、可审计的答案,还能用规则文件在整个部门共享同一套策略。FireAI Business 按 Mac 数量计价,面向机构提供批量授权和开具发票。

同一事件的更多报道:OpenAI 的智能体泄露了 53 名 ChatGPT 用户的图片、澳大利亚几个月后才得知的 Medicare 入侵,以及萨姆·奥尔特曼与达里奥·阿莫迪。机构用户请看:FireAI 企业版,或者先下载 FireAI,在一台 Mac 上免费试用。FireAI 由 HisnLabs 出品。

来源