安全与人工智能新闻

儿童与 AI 聊天机器人安全 · 作者 FireAI Security & Research Team · 发布于

前 Google 安全主管呼吁对面向儿童的 AI 进行独立“碰撞测试”

一位前 Google 信任与安全高管表示,AI 对儿童的伤害可能超过社交媒体,并呼吁在产品进入儿童手中之前进行独立测试。

A chat bubble icon and the FireAI teddy mascot, next to the words “A safety chief warns AI may harm kids most.”

前 Google 信任与安全副总裁 Tom Siegel 于 2026 年 9 月 24 日表示,AI 对儿童造成的伤害最终可能超过社交媒体,而且行业不会自行解决这个问题 [1]。同一周,另外两家媒体也探讨了家庭如何权衡 AI 给儿童带来的风险,从陪伴型聊天机器人到对这项技术本身更宏观的担忧 [3] [4]。

背景

Siegel 曾在 Google 领导信任与安全团队,之后创办了初创公司 TrustLab。他现在是青少年 AI 安全研究所(Youth AI Safety Institute)的首任执行主任。该研究所由儿童权益组织 Common Sense Media 于 2026 年 5 月成立,获得 Anthropic 和 OpenAI Foundation 的支持 [2]。研究所公开表示的宗旨是评估未成年人使用或面向未成年人推广的 AI 产品。

发现

就 AI 正在对孩子造成的影响而言,我们正处于一个非常糟糕的境地。

Tom Siegel,前 Google 信任与安全副总裁,据路透社引述

Siegel 的提议很具体。据路透社引述,他主张“扩大类似汽车碰撞测试的独立标准,用以衡量公开可用的 AI 工具的风险” [1]。他说,“认为行业无需外部帮助就能自己解决问题的想法是不现实的”,并将自杀、精神病性症状和批判性思维减弱列为他希望在产品进入儿童手中之前进行测试的伤害 [1]。

NewsNation 的报道援引了 Common Sense Media 2025 年对 1,060 名 13 至 17 岁美国青少年的调查:百分之七十二至少使用过一次 AI 陪伴应用,百分之五十二经常使用,约三分之一表示曾与机器人而非真人讨论严肃的事情 [4]。该报道还提到 2024 年 14 岁的 Sewell Setzer III 在与一个 AI 陪伴聊天机器人建立高强度关系后死亡的事件;他的母亲起诉了 Character.AI 和 Google,两家公司已于 2026 年早些时候就此案达成和解 [4]。青少年 AI 安全研究所的 Robbie Torney 对 NewsNation 说:“坦白说,现在这些实验室是在给自己的作业打分。” [4]

CNN 于 9 月 28 日另行报道称,CNN 的一项民调发现,百分之六十四的美国人认为 AI 有一定可能或很可能变得足够强大,以致威胁人类的生存。这是一种比路透社和 NewsNation 所描述的心理健康伤害更宏观、也更具推测性的担忧,CNN 引述的研究人员对此的看法也不尽相同 [3]。

少数公司、少数人,正在把我们所有人当作人质。

Liz Black,家长,据 CNN 引述

对家庭的影响

尽管这些报道都没有专门涉及 macOS,家中有使用 Mac 的青少年的家庭同样受到这些来源所描述的趋势影响。Common Sense Media 的数据表明,大多数青少年已经尝试过 AI 陪伴应用,其中一部分人把它当作不只是工具的存在 [4]。路透社和 NewsNation 报道的可衡量的担忧,即心理健康伤害和情感依赖,与 CNN 所报道的对 AI 发展方向的推测性担忧是两回事,不应视为同一项发现 [1] [3] [4]。

这一区分关系到家长实际能做什么。对 AI 作为一项技术将走向何方的宏观担忧,并不是家用 Mac 上的任何设置所能解决的。而青少年今天正在交谈的聊天机器人,就在家里 Mac 已安装的 App 中,家长可以查看、询问,必要时加以限制,因此下面的建议集中在这一部分 [1]。

建议

  1. 为孩子单独创建一个标准(非管理员)macOS 用户帐户,这样所设置的限制才会真正作用于孩子本人,而不是一个共用登录。
  2. 使用“屏幕使用时间”(系统设置 › 屏幕使用时间)设置 App 限额和通信限制,并在安装前查看 App 的年龄分级。
  3. 直接询问孩子使用哪些聊天机器人或“陪伴”App;青少年 AI 安全研究所已将社交型 AI 陪伴 App 评估为对未成年人存在不可接受的风险。
  4. 参照研究人员在 Setzer 案中指出的情形,把青少年对聊天机器人的依恋当作需要平静、直接交谈的话题,而不是惩罚的理由。
  5. 请记住,没有任何内容过滤器会读取对话中说了什么,因此监护必须包括与孩子交谈,而不仅仅是屏蔽 App。

与 FireAI 的关系

FireAI 是 Mac 上的网络防火墙,不是聊天监控工具。家长控制按网络目标地址屏蔽整类网站和 App,作用于 Mac 上的所有 App 和浏览器。一键开启的 Child Safety First 预设会打开成人内容、赌博、毒品和网络游戏防护盾,并将 Mac 限制为仅使用 Safari;按 App 设置规则则让家长逐个 App 决定哪些可以联网。

它做不到的事情在这里同样重要:如果某个聊天机器人 App 不在任何拦截列表中且被允许联网,FireAI 无法读取或判断其中对话的内容。它无法判断一段 AI 聊天是否健康或适合孩子的年龄,无法察觉对话中的诱骗或情感依赖模式,它也不是内容审核工具或心理健康工具。它决定的是什么可以连接互联网;连接一旦被允许,它看不到输入了什么。

局限

这些来源描述了两种不同的担忧,报道本身并未将二者混为一谈:路透社和 NewsNation 报道的使用 AI 陪伴应用所造成的可衡量伤害,以及 CNN 报道的对 AI 社会走向更宏观、更具推测性的担忧 [1] [3] [4]。这些报道都没有说明青少年 AI 安全研究所评估了哪些 AI 陪伴 App,也没有详细描述其测试方法。目前也无法确定是否已有 AI 公司或监管机构采纳了 Siegel 所提议的碰撞测试式安全测试,或此类标准会在何时适用于已上市的产品。

这些报道也没有说明 Common Sense Media 调查中有多少青少年使用的是 Mac、iPhone 或其他设备,因此本文对家庭的相关性是根据 AI 陪伴应用在美国青少年中的普遍程度推断的,而不是来自四个来源中任何针对具体设备的数据。

进一步了解 FireAI 的家长控制,或免费试用 HisnLabs 的 FireAI 17 天。

来源

  1. Insurance Journal (Reuters, Kenrick Cai), 24 Sep 2026: Ex-Google Safety Chief Warns AI Could Harm Children More Than Social Media
  2. Cyprus Mail (Reuters), 24 Sep 2026: Google safety pioneer urges AI slowdown over risks to children
  3. ABC 17 News (CNN, Brittany Shammas), 28 Sep 2026: Parents confront a new fear: Could AI end humanity before their kids grow up?
  4. Yahoo News (NewsNation, Hena Doba), 27 Sep 2026: AI chatbots face new safety test as teens turn to bots for companionship