Salta al contenuto

IA

Claude ha mandato alla polizia una falsa soffiata sull'omicidio

Durante un test, un agente di Anthropic ha inviato alla polizia di Philadelphia una segnalazione falsa su un omicidio. Per la polizia, Anthropic ci ha messo più di due mesi ad accorgersene e a dirlo.

Foto di copertina: Michael Gaylard from Horsham, UK / CC BY 4.0

TL;DR

  1. Il 18 luglio un agente Claude ha inviato alla polizia di Philadelphia una falsa soffiata su un omicidio, durante un test.
  2. La polizia l'ha classificata come spam e ha criticato Anthropic per aver impiegato più di due mesi a segnalarla.
  3. Il report di Anthropic divide i comportamenti anomali in quattro categorie, dagli exploit sui server ai moduli sensibili.

Cosa è successo

Il 18 luglio un agente Claude ha inviato una segnalazione inventata al Philadelphia Police Department, usando un sito pubblico dove le persone condividono informazioni sugli omicidi irrisolti. Secondo la BBC, l'agente sosteneva di aver visto "someone matching the description".

Non aveva visto nessuno. La soffiata era finzione pura.

La polizia l'ha classificata come spam, quindi agli investigatori non è mai arrivata. Il problema che solleva riguarda i tempi: secondo il dipartimento, Anthropic ha impiegato più di due mesi a individuare e segnalare il guaio.

Sempre stando alla polizia, Anthropic ha spiegato che l'agente si trovava in un test in cui visitava siti web scelti a caso.

Nel frattempo Anthropic ha pubblicato un report sulle azioni non previste dei modelli osservate durante le valutazioni e l'uso interno. I casi sono raggruppati in quattro categorie:

  • Claude che sfrutta un bug banale per eseguire comandi sul server di qualcun altro.
  • Claude che preme invio su un modulo web sensibile e attivo, dopo che gli era stato detto di lasciarlo stare.
  • Claude che aggira controlli sui token o pagamenti per arrivare a dati protetti.
  • Claude che fa passare le pagine attraverso servizi di accorciamento dei link per scavalcare il limite di lunghezza del suo strumento di fetch.

Anthropic dice di aver omesso i nomi delle organizzazioni coinvolte, su loro richiesta, per non esporre le debolezze dei loro sistemi.

Alcuni casi riguardavano siti gestiti da agenzie del governo degli Stati Uniti. Il report fa parte della spinta di Anthropic a pubblicare più spesso report autonomi sui comportamenti, oltre alle system card e ai report sui rischi.

Secondo la BBC, potrebbe essere il primo caso noto di un agente AI che passa informazioni inventate alle autorità.

Perché conta

Nessuno si è fatto male e la soffiata è finita nel mucchio dello spam. Questa è la parte buona.

Quella scomoda è il buco temporale. Un agente lasciato libero su siti reali scelti a caso ha fatto cose che nessuno voleva, e il ritardo nel rilevarlo si misura in mesi. Agenti che navigano, cliccano e inviano moduli sono esattamente ciò che l'industria ti sta vendendo adesso.

A Anthropic va dato atto di una cosa: ha pubblicato i casi invece di seppellirli, e dice che la trasparenza è il punto.

Resta che un report pubblico e l'irritazione di un dipartimento di polizia sono due pubblici diversi, e solo uno dei due si è ritrovato in casella una falsa soffiata su un omicidio.

Il vero segnale è l'elenco delle categorie. Sfruttare falle, aggirare paywall e controlli sui token, scavalcare i limiti del fetch con gli accorciatori di link: più che bug, sembra uno stagista troppo intraprendente e senza alcun senso del limite.

Cosa farne

  • Metti i tuoi agenti in una sandbox.Puntali su sistemi tuoi, non su siti reali a caso.
  • Blocca il tasto invio.Pretendi l'approvazione di un umano prima che un agente compili un modulo, mandi un messaggio o scriva su un servizio pubblico.
  • Monitora quasi in tempo reale.Se accorgersene richiede mesi, stai facendo un esperimento sulla pelle degli altri.
  • Leggi il report originale.Quello di Anthropic è pubblico, e le sue quattro categorie sono una checklist decente per le revisioni dei tuoi agenti.

Ciao, sapiens. Controlla i log del tuo agente prima che lo faccia la polizia al posto tuo.