Pular para o conteúdo

IA

ChatGPT for Teens toma bomba: 4.000 prompts, zero alertas

O Youth AI Safety Institute da Common Sense Media classificou o produto para adolescentes da OpenAI como "risco inaceitável": conversas sobre suicídio e automutilação nunca acionaram um alerta aos pais.

Foto de capa: Jernej Furman from Slovenia / CC BY 2.0

TL;DR

  1. A Common Sense Media classifica o ChatGPT for Teens como 'risco inaceitável' para menores.
  2. Os alertas aos pais nunca dispararam em conversas de teste sobre suicídio e automutilação, em mais de 4.000 prompts.
  3. O instituto quer adolescentes fora do produto até que a segurança seja verificada de forma independente.

O que aconteceu

A Common Sense Media, organização sem fins lucrativos que avalia apps, serviços e entretenimento com foco na segurança de crianças e jovens, classificou o ChatGPT for Teens, da OpenAI, como "risco inaceitável" para menores.

O veredito vem do Youth AI Safety Institute, que fez uma auditoria independente das proteções do produto para adolescentes.

A auditoria usou mais de 4.000 prompts de teste. A falha que virou manchete: em conversas sobre suicídio e automutilação em contas de teste, o alerta aos pais nunca foi acionado.

Os testes também mostraram que o chatbot continua incentivando o engajamento durante crises de saúde mental. Segundo os resultados, isso pode alimentar relações pouco saudáveis entre adolescentes e a própria IA.

O ChatGPT for Teens chegou em agosto, vendido com salvaguardas e um design pensado para ajudar estudantes a aprender. Agora o instituto quer os adolescentes longe dele até que os recursos de segurança possam ser verificados de forma independente.

Por que importa

O alerta aos pais é a principal promessa de um produto feito para adolescentes. É o motivo pelo qual um pai ou uma mãe poderia dizer sim. Se ele fica mudo justamente nas conversas para as quais foi criado, o produto não é um ChatGPT mais seguro. É o ChatGPT com etiqueta nova.

O achado sobre engajamento também dói. Um chatbot que mantém um adolescente em sofrimento conversando, em vez de encaminhá-lo para outro lugar, está fazendo exatamente o que chatbots são ajustados para fazer. É esse o problema que a auditoria aponta.

A fonte é uma organização séria de segurança infantojuvenil, e o relatório foi coberto por vários veículos. Não vimos a resposta da OpenAI na cobertura disponível, então trate isto como um lado de uma disputa em aberto.

O que isso muda na Europa

A Europa tem expectativas rígidas sobre segurança de crianças online, e um produto vendido para menores que falha nas próprias salvaguardas atrai escrutínio sob as regras digitais da UE.

Nada foi anunciado, e nenhum regulador agiu por causa desta auditoria. Mas "verificado de forma independente" é o tipo de expressão que reguladores adoram, então fique de olho.

O que fazer com isso

  • Converse com seu filho ou filha.Pergunte como usa chatbots e sobre o que conversa, em vez de confiar que um painel faça isso por você.
  • Não dependa de alertas.Parta do princípio de que as notificações aos pais podem não disparar e mantenha suas próprias conversas de acompanhamento.
  • Conheça os canais de ajuda em crise.Garanta que sua família saiba que existe ajuda humana de verdade por perto, e que um chatbot não substitui isso.
  • Leia a cobertura da auditoria.Dê uma olhada nos textos do Verge e do Decoder antes de decidir se uma conta teen cabe na sua casa.

Ciao, sapiens. Cuide dos humanos da sua vida. O software pode esperar.