Tom Siegel, früherer Vice President of Trust and Safety bei Google, erklärte am 24. September 2026, KI könne sich für Kinder als schädlicher erweisen als soziale Medien, und die Branche werde das Problem nicht von selbst lösen [1]. Die Äußerung fiel in derselben Woche, in der zwei weitere Medien untersuchten, wie Familien KI-bezogene Risiken für Kinder abwägen, von Companion-Chatbots bis zu grundsätzlicheren Befürchtungen gegenüber der Technologie selbst [3] [4].
Hintergrund
Siegel leitete Trust and Safety bei Google, bevor er das Start-up TrustLab gründete. Heute ist er der erste Executive Director des Youth AI Safety Institute, das die Kinderschutzorganisation Common Sense Media im Mai 2026 mit Unterstützung von Anthropic und der OpenAI Foundation ins Leben gerufen hat [2]. Erklärter Zweck des Instituts ist es, KI-Produkte zu bewerten, die von Minderjährigen genutzt oder an sie vermarktet werden.
Ergebnisse
Wir befinden uns in einer wirklich schlimmen Lage, was das angeht, was KI mit Kindern macht.
Tom Siegel, früherer VP of Trust and Safety bei Google, zitiert von Reuters
Siegels Vorschlag ist konkret: „unabhängige Standards nach dem Vorbild von Auto-Crashtests auszubauen, die das Risiko öffentlich verfügbarer KI-Werkzeuge messen“, wie Reuters ihn zitierte [1]. Die Vorstellung, „dass die Branche das ohne Hilfe von außen selbst in den Griff bekommt, ist unrealistisch“, sagte er und nannte Suizid, Psychosen und nachlassendes kritisches Denken unter den Schäden, auf die Produkte getestet werden sollten, bevor sie Kinder erreichen [1].
Eine Umfrage von Common Sense Media aus dem Jahr 2025 unter 1.060 US-Jugendlichen zwischen 13 und 17 Jahren, die NewsNation zitiert, ergab, dass 72 Prozent mindestens einmal einen KI-Companion genutzt hatten und 52 Prozent regelmäßig einen nutzen; etwa ein Drittel gab an, ernste Themen mit einem Bot statt mit einem Menschen besprochen zu haben [4]. Derselbe Bericht behandelt den Tod des 14-jährigen Sewell Setzer III im Jahr 2024 nach einer intensiven Beziehung zu einem KI-Companion-Chatbot; seine Mutter verklagte Character.AI und Google, und die Unternehmen legten den Fall Anfang 2026 durch einen Vergleich bei [4]. „Ehrlich gesagt benoten die Labore derzeit ihre eigenen Hausaufgaben“, sagte Robbie Torney vom Youth AI Safety Institute gegenüber NewsNation [4].
CNN berichtete am 28. September gesondert, laut einer CNN-Umfrage hielten es 64 Prozent der Amerikaner für eher oder sehr wahrscheinlich, dass KI mächtig genug werden könnte, um das Überleben der Menschheit zu gefährden. Diese Sorge ist breiter und spekulativer als die von Reuters und NewsNation beschriebenen Schäden für die psychische Gesundheit und wird nicht von allen Forschenden, die CNN zitiert, gleich gewichtet [3].
Eine kleine Zahl von Unternehmen, eine kleine Zahl von Menschen hält uns alle als Geiseln.
Liz Black, Mutter, zitiert von CNN
Folgen für Familien
Ein Haushalt mit einem Teenager, der einen Mac besitzt, ist von dem Muster betroffen, das diese Quellen beschreiben, auch wenn keiner der Berichte macOS konkret betrifft. Die Zahlen von Common Sense Media zeigen, dass die meisten Jugendlichen bereits einen KI-Companion ausprobiert haben und ein Teil ihn als mehr als ein Werkzeug behandelt [4]. Die messbare Sorge, also die von Reuters und NewsNation berichteten Schäden für die psychische Gesundheit und die emotionale Abhängigkeit, ist von der spekulativeren Sorge über die Entwicklung der KI zu unterscheiden, über die CNN berichtet; beides sollte nicht als ein einziger Befund behandelt werden [1] [3] [4].
Die Unterscheidung ist wichtig für das, was Eltern tatsächlich tun können. Eine allgemeine Sorge darüber, wohin sich KI als Technologie entwickelt, lässt sich mit keiner Einstellung auf einem Familien-Mac beeinflussen. Ein Chatbot, mit dem ein Teenager heute spricht, in einer App, die bereits auf einem Mac im Haushalt installiert ist, lässt sich dagegen ansehen, ansprechen und bei Bedarf einschränken. Deshalb konzentrieren sich die folgenden Empfehlungen auf diesen Teil der Geschichte [1].
Empfehlungen
- Einem Kind ein eigenes macOS-Standardkonto ohne Administratorrechte einrichten, damit gesetzte Grenzen tatsächlich für das Kind gelten und nicht für eine gemeinsame Anmeldung.
- Mit Bildschirmzeit (Systemeinstellungen › Bildschirmzeit) App-Limits und Kommunikationslimits festlegen und die Altersfreigabe einer App vor der Installation prüfen.
- Direkt fragen, welche Chatbot- oder „Companion“-Apps ein Kind nutzt; das Youth AI Safety Institute hat soziale KI-Companion-Apps für Minderjährige als inakzeptables Risiko eingestuft.
- Die Bindung eines Teenagers an einen Chatbot als Anlass für ein ruhiges, offenes Gespräch behandeln und nicht als Grund für eine Strafe, entsprechend dem Muster, auf das Forschende im Fall Setzer hingewiesen haben.
- Bedenken, dass kein Inhaltsfilter liest, was in einem Gespräch gesagt wird; Aufsicht muss daher auch das Gespräch mit dem Kind umfassen, nicht nur das Blockieren von Apps.
Bezug zu FireAI
FireAI ist eine Netzwerk-Firewall für den Mac, kein Chat-Monitor. Die Kindersicherung blockiert ganze Kategorien von Websites und Apps anhand des Netzwerkziels, für jede App und jeden Browser auf dem Mac. Die Voreinstellung Child Safety First aktiviert mit einem Klick die Schutzschilde für Erwachseneninhalte, Glücksspiel, Drogen und Gaming und beschränkt den Mac auf Safari, und mit Regeln pro App entscheiden Eltern App für App, was überhaupt online gehen darf.
Wichtig ist hier auch, was FireAI nicht tut: Steht eine Chatbot-App auf keiner Sperrliste und bleibt sie online erlaubt, kann FireAI den Inhalt des darin geführten Gesprächs weder lesen noch beurteilen. Es kann nicht erkennen, ob ein KI-Chat gesund oder altersgerecht ist, erkennt kein Grooming und keine Muster emotionaler Abhängigkeit im Gesagten und ist weder ein Moderationswerkzeug noch ein Hilfsmittel für die psychische Gesundheit. Es entscheidet, was sich mit dem Internet verbinden darf; was nach einer erlaubten Verbindung eingetippt wird, sieht es nicht.
Einschränkungen
Die Quellen beschreiben zwei verschiedene Sorgen, die auch die Berichterstattung selbst nicht vermengt: messbare Schäden durch die Nutzung von KI-Companions, über die Reuters und NewsNation berichten, und eine breitere, spekulativere Sorge über die gesellschaftliche Entwicklung der KI, über die CNN berichtet [1] [3] [4]. Keiner der Berichte nennt, welche KI-Companion-Apps das Youth AI Safety Institute bewertet hat, oder beschreibt seine Testmethodik im Detail. Ebenso wenig ist belegt, ob ein KI-Unternehmen oder eine Aufsichtsbehörde Sicherheitstests nach Art von Crashtests, wie Siegel sie vorschlägt, übernommen hat oder in welchem Zeitrahmen ein solcher Standard für bereits erhältliche Produkte gelten könnte.
Die Berichte sagen auch nicht, wie viele der befragten Jugendlichen in der Umfrage von Common Sense Media einen Mac, ein iPhone oder ein anderes Gerät nutzten. Die hier gezogene Relevanz für Haushalte ist daher daraus abgeleitet, wie verbreitet die Nutzung von KI-Companions unter US-Jugendlichen allgemein ist, nicht aus gerätespezifischen Daten einer der vier Quellen.
Mehr über die Kindersicherung von FireAI erfahren oder FireAI von HisnLabs 17 Tage kostenlos testen.