Salta al contenuto

IA

L'IA di Discord ha bannato 8,000+ utenti per dei fogli Excel

Un bug nella moderazione di Discord ha scambiato fogli di calcolo, scacchiere e sfondi vuoti per contenuti dannosi, con ban immediati. Il problema è risolto e gli account stanno tornando.

Foto di copertina: JJ Harrison (https://www.jjharrison.com.au/) / CC BY-SA 3.0

TL;DR

  1. Un bug nella moderazione di Discord ha bannato per errore più di 8,000 utenti in circa due mesi.
  2. A far scattare il ban: fogli di calcolo, scacchiere, texture di giochi e semplici sfondi trasparenti.
  3. Bug risolto e account in via di ripristino; il controllo umano era stato saltato.

Cosa è successo

Discord ha ammesso che un bug nel suo sistema di moderazione basato su IA ha bannato per errore più di 8,000 utenti negli ultimi due mesi. Le immagini incriminate erano sinistre più o meno quanto un martedì qualsiasi: fogli di calcolo, scacchiere, texture di videogiochi, sfondi trasparenti bianchi e grigi. Tutte segnalate per sbaglio come contenuti dannosi.

I guai sono iniziati a maggio. Nell'ultimo weekend altri 200 utenti sono stati bannati, prima che il team di Discord si accorgesse del problema e lo sistemasse. Gli account colpiti sono ora in fase di ripristino.

In un lungo thread su X, Discord ha spiegato come funziona il sistema: confronta i contenuti caricati con database di materiale dannoso già noto. L'azienda ha riconosciuto che questo tipo di confronto può produrre falsi positivi.

Fin qui, niente di drammatico, perché a rivedere i contenuti segnalati dovrebbe essere un moderatore umano. Il bug ha rotto proprio questo passaggio: gli account colpiti sono stati bannati subito, senza revisione. Discord dice di essere al lavoro su protezioni migliori per evitare che succeda di nuovo.

Perché conta

I falsi positivi sono un costo noto della moderazione automatica. Nessuno si scandalizza se ogni tanto un classificatore si confonde. Il vero guasto è nell'impianto idraulico: la rete di sicurezza che doveva tenere un umano nel giro ha smesso, in silenzio, di farlo.

Ci sono voluti anche due mesi per accorgersene. Un foglio di calcolo non è un caso limite. Quando le immagini che mandano in tilt il tuo sistema sono i file più noiosi di internet, e i ban si contano a migliaia, l'allarme è suonato un filo in ritardo.

Le piattaforme si affidano sempre di più all'automazione per intercettare materiale illegale o abusivo su larga scala. Giusto obiettivo, ed è proprio per la scala che l'automazione esiste. Questo incidente mostra però bene cosa succede quando l'automazione agisce da sola e il controllo scompare.

Per chi è stato bannato il danno è stato reale: account persi, community perse e nessuna spiegazione chiara per essere stati cacciati a causa di uno screenshot di una partita a scacchi. Il ripristino è la mossa giusta, ma è pulizia, non prevenzione.

Cosa farne

  • Fai un backup di ciò che conta.Esporta contatti, info dei server e tutto ciò che è importante dalle piattaforme su cui fai affidamento: un account non è mai davvero tuo.
  • Conosci la strada del ricorso.Se gestisci una community, scopri come si contesta un ban su Discord prima di averne bisogno, e dillo anche ai tuoi moderatori.
  • Tieni un umano nel tuo giro.Se costruisci o gestisci moderazione automatica, assicurati che gli elementi segnalati arrivino ancora a una persona, e testa quel passaggio come se potesse rompersi. È appena successo.
  • Diversifica la tua community.Tieni un secondo canale, come una mailing list o un'altra chat, così una singola decisione automatica sbagliata non cancella il tuo gruppo.

Ciao, sapiens. Tieni strette le tue serate a scacchi: i robot stanno guardando la scacchiera.