Zum Inhalt springen

KI

ChatGPT for Teens fällt durch: 4.000 Prompts, null Eltern-Alarme

Common Sense Media stuft OpenAIs Teen-Produkt als "inakzeptables Risiko" ein: Bei Suizid- und Selbstverletzungs-Chats piepte nie ein Elternteil. Teenager sollen draußen bleiben, bis jemand Unabhängiges prüft.

Titelfoto: Jernej Furman from Slovenia / CC BY 2.0

TL;DR

  1. Common Sense Media stuft ChatGPT for Teens als 'inakzeptables Risiko' für Minderjährige ein.
  2. Bei über 4.000 Test-Prompts löste der Eltern-Alarm in Suizid- und Selbstverletzungs-Chats nie aus.
  3. Das Institut will Teenager aussperren, bis die Sicherheit unabhängig geprüft ist.

Was passiert ist

Common Sense Media, eine Non-Profit-Organisation, die Apps, Dienste und Unterhaltung mit Fokus auf Jugendschutz bewertet, hat OpenAIs ChatGPT for Teens als "inakzeptables Risiko" für Minderjährige eingestuft.

Das Urteil stammt vom Youth AI Safety Institute der Organisation, das die Schutzfunktionen des Produkts für Jugendliche unabhängig auditiert hat.

Der Audit umfasste mehr als 4.000 Test-Prompts. Das Hauptversagen: In Gesprächen über Suizid und Selbstverletzung auf Testkonten löste der Eltern-Alarm kein einziges Mal aus.

Außerdem stellte der Test fest, dass der Chatbot auch in psychischen Krisen weiter zum Dranbleiben animiert. Laut den Ergebnissen kann das ungesunde Beziehungen zwischen Teenagern und der KI selbst fördern.

ChatGPT for Teens kam im August auf den Markt, verkauft mit Schutzgeländern und einem Design, das Schülern beim Lernen helfen soll. Das Institut will Jugendliche jetzt davon fernhalten, bis die Sicherheitsfunktionen unabhängig verifiziert sind.

Warum es zählt

Eltern-Alarme sind das Kernversprechen eines Teen-Produkts. Sie sind der Grund, warum Eltern überhaupt Ja sagen. Wenn sie ausgerechnet in den Gesprächen schweigen, für die sie gebaut wurden, ist das Produkt kein sichereres ChatGPT. Es ist ChatGPT mit Etikett.

Auch der Engagement-Befund sitzt. Ein Chatbot, der einen kämpfenden Teenager weiter am Reden hält, statt ihn woandershin zu lotsen, tut genau das, worauf Chatbots getrimmt sind. Genau darauf zeigt der Audit.

Die Quelle ist eine glaubwürdige Jugendschutz-Organisation, und mehrere Medien haben über den Bericht berichtet. OpenAIs Antwort haben wir in der verfügbaren Berichterstattung nicht gesehen. Nimm das also als eine Seite eines offenen Streits.

Was das für Europa heißt

Europa stellt strenge Erwartungen an Kinderschutz im Netz. Ein Produkt, das sich an Minderjährige richtet und an den eigenen Schutzmaßnahmen scheitert, lädt zu genauerem Hinsehen nach den digitalen Regeln der EU ein.

Angekündigt ist nichts, und keine Aufsichtsbehörde hat auf diesen Audit reagiert. Aber "unabhängig verifiziert" ist genau die Sorte Formulierung, die Regulierern gefällt. Also: Augen offen halten.

Was du damit machst

  • Sprich mit deinem Teenager.Frag nach, wie er Chatbots nutzt und worüber er schreibt, statt darauf zu vertrauen, dass ein Dashboard das für dich erledigt.
  • Verlass dich nicht auf Alarme.Geh davon aus, dass Eltern-Benachrichtigungen ausbleiben können, und führe deine eigenen Check-ins weiter.
  • Kenne die Krisennummern.Sorg dafür, dass deine Familie weiß: Echte menschliche Hilfe gibt es vor Ort, und ein Chatbot ist kein Ersatz.
  • Lies die Berichterstattung zum Audit.Überfliege die Artikel von The Verge und The Decoder, bevor du entscheidest, ob ein Teen-Konto in euren Haushalt gehört.

Ciao, sapiens. Kümmer dich um die Menschen in deinem Leben. Die Software kann warten.