Pular para o conteúdo

IA

A IA do Discord baniu 8,000+ usuários por planilhas e tabuleiros

Um bug na moderação do Discord tratou planilhas, tabuleiros de xadrez e fundos em branco como conteúdo nocivo e baniu contas na hora. A correção já saiu, e as contas estão sendo restauradas.

TL;DR

  1. Um bug na moderação do Discord baniu por engano mais de 8,000 usuários em cerca de dois meses.
  2. Os gatilhos: planilhas, tabuleiros de xadrez, texturas de jogos e fundos transparentes lisos.
  3. O bug foi corrigido e as contas estão voltando; uma etapa de revisão humana tinha sido pulada.

O que aconteceu

O Discord admitiu que um bug no seu sistema de moderação com IA baniu por engano mais de 8,000 usuários nos últimos dois meses. As imagens que dispararam o alarme eram tão sinistras quanto uma terça-feira qualquer: planilhas, tabuleiros de xadrez, texturas de jogos e fundos transparentes brancos e cinza. Tudo isso foi marcado, de forma errada, como conteúdo nocivo.

O problema começou em maio. No fim de semana mais recente, outros 200 usuários foram banidos antes de a equipe do Discord notar a falha e corrigir. As contas afetadas estão agora em processo de restauração.

Em uma thread detalhada no X, o Discord explicou como o sistema funciona. Ele compara o conteúdo enviado com bancos de dados de material nocivo conhecido. A empresa reconheceu que esse tipo de comparação pode gerar falsos positivos.

Em tese, tudo bem, porque um moderador humano deveria revisar o conteúdo sinalizado. O bug quebrou justamente essa etapa: as contas afetadas foram banidas na hora. O Discord diz que está trabalhando em salvaguardas melhores para que isso não se repita.

Por que importa

Falso positivo é um custo conhecido da moderação automática. Ninguém cai da cadeira porque um classificador se confundiu de vez em quando. A falha de verdade está no encanamento: a rede de segurança que deveria colocar um humano no circuito parou de fazer isso, sem alarde.

Além disso, levou dois meses para alguém perceber. Planilha não é caso de borda. Quando as imagens que derrubam o seu sistema são os arquivos mais sem graça da internet e milhares de banimentos depois ninguém tinha reparado, dá para dizer que o alarme tocou tarde.

As plataformas dependem cada vez mais de sistemas automáticos para pegar material ilegal ou abusivo em escala. O objetivo é certo, e a escala é a razão de a automação existir. Este episódio é um exemplo limpinho do que acontece quando a automação age sozinha e a etapa de revisão some.

Para quem foi banido, o custo foi real: conta perdida, comunidade perdida e nenhuma explicação óbvia para ser expulso por causa de um print de xadrez. A restauração está acontecendo, e é a decisão certa, mas é faxina, não prevenção.

O que fazer com isso

  • Faça backup do que importa.Exporte listas de contatos, informações de servidores e tudo que for importante das plataformas em que você confia, porque conta nunca é totalmente sua.
  • Conheça o caminho de recurso.Se você cuida de uma comunidade, descubra como funciona a contestação de banimentos no Discord antes de precisar, e avise seus moderadores também.
  • Mantenha um humano no seu próprio circuito.Se você cria ou administra moderação automática, garanta que os itens sinalizados ainda cheguem a uma pessoa, e teste essa etapa como se ela pudesse falhar. Acabou de falhar.
  • Diversifique sua comunidade.Tenha um segundo canal, como uma lista de e-mail ou outro chat, para que uma única decisão automática errada não apague o seu grupo.

Ciao, sapiens. Mantenha suas noites de xadrez, os robôs estão de olho no tabuleiro.