Säkerhet & AI-nyheter

AI-chattbottar och barns säkerhet · Av FireAI Security & Research Team · Publicerad

Googles tidigare säkerhetschef vill se oberoende "krocktester" för AI riktad till barn

En tidigare chef för Trust and Safety på Google menar att AI kan skada barn mer än sociala medier gjort, och vill ha oberoende tester innan produkter når barn.

A chat bubble icon and the FireAI teddy mascot, next to the words “A safety chief warns AI may harm kids most.”

Tom Siegel, tidigare vice vd för Trust and Safety på Google, sade den 24 september 2026 att AI kan visa sig vara mer skadlig för barn än sociala medier, och att branschen inte kommer att lösa problemet på egen hand [1]. Uttalandet kom samma vecka som två andra medier granskade hur familjer väger AI-relaterade risker för barn, från kompischattbottar till en bredare oro för själva tekniken [3] [4].

Bakgrund

Siegel ledde Trust and Safety på Google innan han grundade startupföretaget TrustLab. Han är nu den första verkställande direktören för Youth AI Safety Institute, som startades i maj 2026 av barnrättsorganisationen Common Sense Media med stöd från Anthropic och OpenAI Foundation [2]. Institutets uttalade syfte är att utvärdera AI-produkter som används av eller marknadsförs till minderåriga.

Resultat

Vi befinner oss i en verkligt fruktansvärd situation när det gäller vad AI gör med barn.

Tom Siegel, tidigare vice vd för Trust and Safety på Google, citerad av Reuters

Siegels förslag är konkret: att "skala upp oberoende standarder, liknande krocktester för bilar, som mäter risken med offentligt tillgängliga AI-verktyg", som Reuters citerade honom [1]. Han sade att "tanken att branschen ska lösa det själv utan hjälp utifrån är orealistisk", och nämnde självmord, psykos och försämrat kritiskt tänkande bland de skador han vill att produkter testas för innan de når barn [1].

En undersökning från Common Sense Media 2025 bland 1 060 amerikanska tonåringar i åldern 13 till 17 år, som citeras i NewsNations rapportering, visade att 72 procent hade använt en AI-kompis minst en gång och att 52 procent använder en regelbundet, medan ungefär en tredjedel uppgav att de hade diskuterat allvarliga frågor med en bott i stället för med en person [4]. Samma rapport tar upp dödsfallet 2024 där 14-årige Sewell Setzer III dog efter en intensiv relation med en AI-kompischattbott; hans mor stämde Character.AI och Google, och företagen förlikades i målet tidigare under 2026 [4]. "Ärligt talat rättar labben just nu sina egna läxor", sade Robbie Torney vid Youth AI Safety Institute till NewsNation [4].

CNN rapporterade separat, den 28 september, att en CNN-undersökning visade att 64 procent av amerikanerna anser det ganska eller mycket troligt att AI kan bli så kraftfull att den hotar mänsklighetens överlevnad. Det är en bredare och mer spekulativ oro än de psykiska skador som Reuters och NewsNation beskriver, och den bedöms inte på samma sätt av alla forskare som CNN citerar [3].

Ett litet antal företag, ett litet antal människor, håller oss alla som gisslan.

Liz Black, förälder, citerad av CNN

Följder för familjer

Ett hushåll med en tonåring som har en Mac berörs av det mönster som källorna beskriver, även om ingen av rapporterna specifikt gäller macOS. Common Sense Medias siffror tyder på att de flesta tonåringar redan har provat en AI-kompis, och att en del behandlar den som något mer än ett verktyg [4]. Den mätbara oron, psykisk ohälsa och känslomässigt beroende som Reuters och NewsNation rapporterar om, skiljer sig från den mer spekulativa oron för AI:s utvecklingsbana som CNN rapporterar om; de två bör inte behandlas som ett och samma resultat [1] [3] [4].

Skillnaden spelar roll för vad en förälder faktiskt kan göra något åt. En bredare oro för vart AI är på väg som teknik är inget som någon inställning på en Mac i hemmet åtgärdar. En chattbott som en tonåring pratar med i dag, i en app som redan är installerad på familjens Mac, är däremot något en förälder kan titta på, fråga om och vid behov begränsa, och därför fokuserar rekommendationerna nedan på den delen av historien [1].

Rekommendationer

  1. Ge barnet ett eget vanligt macOS-användarkonto utan administratörsbehörighet, så att de begränsningar som ställs in faktiskt gäller barnet och inte en delad inloggning.
  2. Använd Skärmtid (Systeminställningar › Skärmtid) för att ställa in appgränser och kommunikationsgränser, och kontrollera en apps åldersgräns innan den installeras.
  3. Fråga rakt ut vilka chattbottar eller "kompisappar" barnet använder; Youth AI Safety Institute har bedömt sociala AI-kompisappar som en oacceptabel risk för minderåriga.
  4. Se en tonårings fästning vid en chattbott som ett ämne för ett lugnt och rakt samtal snarare än för bestraffning, i linje med det mönster som forskare lyfte fram i Setzer-fallet.
  5. Kom ihåg att inget innehållsfilter läser vad som sägs i ett samtal, så tillsynen måste omfatta samtal med barnet och inte bara blockering av appar.

Relevans för FireAI

FireAI är en nätverksbrandvägg för Mac, inte en chattövervakare. Föräldrakontroll blockerar hela kategorier av webbplatser och appar utifrån nätverksmål, för varje app och webbläsare på datorn. Förinställningen Child Safety First, som slås på med ett klick, aktiverar sköldarna för NSFW, spel om pengar, droger och onlinespel och begränsar datorn till enbart Safari, och regler per app låter en förälder avgöra, app för app, vad som över huvud taget får gå ut på nätet.

Det den inte gör är viktigt här: om en chattbottapp inte finns på någon blocklista och tillåts gå ut på nätet har FireAI inget sätt att läsa eller bedöma innehållet i samtalet som pågår i den. Den kan inte avgöra om en AI-chatt är sund eller åldersanpassad, kan inte upptäcka grooming eller mönster av känslomässigt beroende i det som sägs, och är varken en innehållsmoderator eller ett verktyg för psykisk hälsa. Den avgör vad som får ansluta till internet; den ser inte vad som skrivs när en anslutning väl är tillåten.

Begränsningar

Källorna beskriver två skilda farhågor som rapporteringen själv inte slår ihop: mätbar skada av att använda AI-kompisar, som Reuters och NewsNation rapporterar om, och en bredare, mer spekulativ oro för AI:s samhälleliga utvecklingsbana, som CNN rapporterar om [1] [3] [4]. Ingen av rapporterna anger vilka AI-kompisappar Youth AI Safety Institute har utvärderat eller beskriver dess testmetod i detalj. Det är inte heller fastställt om något AI-företag eller någon tillsynsmyndighet har infört säkerhetstester i stil med krocktester som Siegel föreslår, eller enligt vilken tidsplan en sådan standard skulle kunna gälla för produkter som redan finns på marknaden.

Rapporteringen anger inte heller hur många av tonåringarna i Common Sense Medias undersökning som använde en Mac, en iPhone eller en annan enhet, så den relevans för hushåll som dras här bygger på hur vanligt det är med AI-kompisar bland amerikanska tonåringar i allmänhet, inte på enhetsspecifika uppgifter i någon av de fyra källorna.

Läs mer om FireAI:s föräldrakontroll, eller prova FireAI från HisnLabs gratis i 17 dagar.

Källor

  1. Insurance Journal (Reuters, Kenrick Cai), 24 Sep 2026: Ex-Google Safety Chief Warns AI Could Harm Children More Than Social Media
  2. Cyprus Mail (Reuters), 24 Sep 2026: Google safety pioneer urges AI slowdown over risks to children
  3. ABC 17 News (CNN, Brittany Shammas), 28 Sep 2026: Parents confront a new fear: Could AI end humanity before their kids grow up?
  4. Yahoo News (NewsNation, Hena Doba), 27 Sep 2026: AI chatbots face new safety test as teens turn to bots for companionship