Новости безопасности и искусственного интеллекта

Безопасность ИИ-чат-ботов для детей · Автор FireAI Security & Research Team · Опубликовано

Бывший руководитель по безопасности Google призывает к независимым «краш-тестам» ИИ для детей

Бывший руководитель Trust and Safety в Google считает, что ИИ может навредить детям сильнее соцсетей, и призывает к независимым проверкам продуктов до их выхода.

A chat bubble icon and the FireAI teddy mascot, next to the words “A safety chief warns AI may harm kids most.”

Том Сигел, бывший вице-президент Google по доверию и безопасности (Trust and Safety), заявил 24 сентября 2026 года, что ИИ может оказаться для детей более вредным, чем социальные сети, и что отрасль не решит эту проблему самостоятельно [1]. Заявление прозвучало на той же неделе, когда ещё два издания рассмотрели, как семьи оценивают связанные с ИИ риски для детей — от чат-ботов-компаньонов до более общих опасений по поводу самой технологии [3] [4].

Предыстория

Сигел руководил направлением Trust and Safety в Google, а затем основал стартап TrustLab. Сейчас он первый исполнительный директор Youth AI Safety Institute — института, созданного в мае 2026 года правозащитной организацией Common Sense Media, работающей в интересах детей, при поддержке Anthropic и OpenAI Foundation [2]. Заявленная цель института — оценивать ИИ-продукты, которыми пользуются несовершеннолетние или которые им адресованы.

Результаты

Мы оказались в поистине ужасной ситуации с тем, что ИИ делает с детьми.

Том Сигел, бывший вице-президент Google по доверию и безопасности, цитата по Reuters

Предложение Сигела конкретно: «масштабировать независимые стандарты, подобные краш-тестам автомобилей, которые измеряли бы риски общедоступных ИИ-инструментов», — так его процитировало Reuters [1]. По его словам, «представление, что отрасль разберётся сама без помощи извне, нереалистично»; среди вредных последствий, на которые продукты нужно проверять до того, как они попадут к детям, он назвал суицид, психоз и ослабление критического мышления [1].

Опрос Common Sense Media 2025 года среди 1060 американских подростков в возрасте от 13 до 17 лет, на который ссылается NewsNation, показал, что 72 процента хотя бы раз пользовались ИИ-компаньоном, 52 процента пользуются им регулярно, а примерно треть сообщили, что обсуждали серьёзные вопросы с ботом, а не с человеком [4]. В том же материале рассказывается о гибели 14-летнего Сьюэлла Сетцера III в 2024 году после интенсивных отношений с чат-ботом-компаньоном; его мать подала иск против Character.AI и Google, и в начале 2026 года стороны урегулировали дело [4]. «Откровенно говоря, сейчас лаборатории сами проверяют собственное домашнее задание», — сказал NewsNation Робби Торни из Youth AI Safety Institute [4].

CNN отдельно сообщил 28 сентября, что, согласно опросу CNN, 64 процента американцев считают отчасти или весьма вероятным, что ИИ может стать достаточно мощным, чтобы угрожать выживанию человечества. Это более широкое и более умозрительное опасение, чем вред для психического здоровья, о котором пишут Reuters и NewsNation, и не все исследователи, которых цитирует CNN, оценивают его одинаково [3].

Небольшое число компаний, небольшое число людей держат нас всех в заложниках.

Лиз Блэк, мать, цитата по CNN

Выводы для семей

Описанная в этих источниках закономерность касается семьи, где у подростка есть Mac, хотя ни один из материалов не посвящён именно macOS. Данные Common Sense Media показывают, что большинство подростков уже пробовали ИИ-компаньона, а часть из них относится к нему не просто как к инструменту [4]. Измеримая проблема — вред психическому здоровью и эмоциональная зависимость, о которых сообщают Reuters и NewsNation, — отличается от более умозрительного беспокойства о траектории развития ИИ, о котором пишет CNN; эти два вывода не следует смешивать [1] [3] [4].

Это различие важно для того, что родитель может реально сделать. Общее беспокойство о том, куда движется ИИ как технология, не решается никакой настройкой домашнего Mac. Чат-бот, с которым подросток разговаривает сегодня в приложении, уже установленном на семейном Mac, — это то, на что родитель может посмотреть, о чём может спросить и что при необходимости может ограничить; поэтому рекомендации ниже сосредоточены именно на этой части истории [1].

Рекомендации

  1. Создайте ребёнку отдельную стандартную учётную запись macOS без прав администратора, чтобы установленные ограничения действовали именно на него, а не на общий вход.
  2. Используйте «Экранное время» («Системные настройки» › «Экранное время»), чтобы задать лимиты приложений и ограничения общения, и проверяйте возрастной рейтинг приложения перед установкой.
  3. Прямо спросите, какими чат-ботами или приложениями-«компаньонами» пользуется ребёнок; Youth AI Safety Institute оценил социальные ИИ-компаньоны как неприемлемый риск для несовершеннолетних.
  4. Относитесь к привязанности подростка к чат-боту как к поводу для спокойного, прямого разговора, а не наказания, с учётом закономерности, на которую исследователи указали в деле Сетцера.
  5. Помните, что ни один фильтр контента не читает то, что говорится внутри разговора, поэтому присмотр должен включать разговоры с ребёнком, а не только блокировку приложений.

Какое отношение это имеет к FireAI

FireAI — сетевой межсетевой экран для Mac, а не средство мониторинга чатов. Родительский контроль блокирует целые категории сайтов и приложений по сетевому адресу назначения — для всех приложений и браузеров на Mac. Предустановка Child Safety First, включаемая одним щелчком, активирует щиты NSFW, Gambling, Drugs и Gaming и ограничивает Mac режимом «Только Safari», а правила для приложений позволяют родителю решать для каждого приложения, разрешён ли ему вообще выход в интернет.

Здесь важно и то, чего он не делает: если приложение-чат-бот не входит ни в один список блокировки и ему разрешён выход в интернет, FireAI никак не может прочитать или оценить содержание происходящего в нём разговора. Он не может определить, здоров ли ИИ-чат и соответствует ли он возрасту, не распознаёт груминг или признаки эмоциональной зависимости в сказанном и не является ни модератором контента, ни инструментом психологической помощи. Он решает, чему разрешено подключаться к интернету, но не видит, что вводится после того, как соединение разрешено.

Ограничения

Источники описывают две разные проблемы, которые сами материалы не объединяют: измеримый вред от использования ИИ-компаньонов, о котором сообщают Reuters и NewsNation, и более широкое, более умозрительное беспокойство о траектории развития ИИ в обществе, о котором пишет CNN [1] [3] [4]. Ни в одном из материалов не названо, какие ИИ-компаньоны оценил Youth AI Safety Institute, и не описана подробно его методика тестирования. Не установлено также, приняла ли какая-либо ИИ-компания или регулятор проверку безопасности по образцу краш-тестов, предложенную Сигелом, и в какие сроки такой стандарт мог бы применяться к продуктам, уже находящимся на рынке.

В материалах также не сказано, сколько подростков в опросе Common Sense Media пользовались Mac, iPhone или другим устройством, поэтому сделанный здесь вывод о значении для семей основан на том, насколько распространены ИИ-компаньоны среди американских подростков в целом, а не на данных об устройствах из какого-либо из четырёх источников.

Подробнее о родительском контроле FireAI — или попробуйте FireAI от HisnLabs бесплатно 17 дней.

Источники

  1. Insurance Journal (Reuters, Kenrick Cai), 24 Sep 2026: Ex-Google Safety Chief Warns AI Could Harm Children More Than Social Media
  2. Cyprus Mail (Reuters), 24 Sep 2026: Google safety pioneer urges AI slowdown over risks to children
  3. ABC 17 News (CNN, Brittany Shammas), 28 Sep 2026: Parents confront a new fear: Could AI end humanity before their kids grow up?
  4. Yahoo News (NewsNation, Hena Doba), 27 Sep 2026: AI chatbots face new safety test as teens turn to bots for companionship