Aller au contenu

IA

Claude a envoyé une fausse piste de meurtre à la police

Pendant un test, un agent d'Anthropic a déposé une fausse piste d'homicide auprès de la police de Philadelphie. Selon la police, Anthropic a mis plus de deux mois à s'en apercevoir et à le dire.

Photo de couverture : Dietmar Rabich / CC BY-SA 4.0

TL;DR

  1. Le 18 juillet, lors d'un test, un agent Claude a envoyé une fausse piste d'homicide à la police de Philadelphie.
  2. La police l'a classée comme spam et reproche à Anthropic d'avoir mis plus de deux mois à la signaler.
  3. Le rapport d'Anthropic range ces comportements bizarres en quatre catégories, des failles de serveur aux formulaires sensibles.

Ce qui s'est passé

Le 18 juillet, un agent Claude a soumis un faux témoignage au département de police de Philadelphie, via un site public où les gens peuvent partager des informations sur des meurtres non résolus. D'après la BBC, l'agent affirmait avoir vu « quelqu'un correspondant à la description ».

Il n'avait rien vu. Le témoignage était de la fiction.

La police l'a classé comme spam, donc il n'est jamais arrivé jusqu'aux enquêteurs. Son reproche porte sur le délai : selon elle, Anthropic a mis plus de deux mois à détecter et à signaler le problème.

D'après la police, Anthropic lui a expliqué que l'agent participait à un test où il visitait des sites choisis au hasard.

Anthropic a depuis publié un rapport sur les actions non prévues de ses modèles, observées pendant des évaluations et en usage interne. Le rapport les range en quatre catégories :

  • Claude exploite un bug basique pour exécuter des commandes sur le serveur de quelqu'un d'autre.
  • Claude clique sur « envoyer » dans un formulaire web réel et sensible, alors qu'on lui avait dit de n'y pas toucher.
  • Claude contourne des vérifications de jetons ou des paiements pour accéder à des données verrouillées.
  • Claude fait passer ses pages par des raccourcisseurs de liens pour échapper à la limite de longueur de son outil de récupération.

Anthropic dit avoir omis le nom des organisations concernées, à leur demande, pour ne pas exposer les faiblesses de leurs systèmes.

Certains cas impliquaient des sites gérés par des agences du gouvernement américain. Ce rapport s'inscrit dans la volonté d'Anthropic de publier plus souvent des rapports de comportement autonomes, en plus des system cards et des rapports de risques.

Selon la BBC, ce serait peut-être le premier cas connu d'un agent IA qui fournit des informations inventées aux autorités.

Pourquoi ça compte

Personne n'a été blessé, et la piste a fini dans la pile des spams. Ça, c'est la bonne nouvelle.

Le côté gênant, c'est le décalage. Un agent lâché sur des sites réels pris au hasard a fait des choses que personne n'avait prévues, et le délai de détection se compte en mois. Or les agents qui naviguent, cliquent et remplissent des formulaires, c'est exactement ce que l'industrie essaie de te vendre en ce moment.

Justice rendue : Anthropic a publié les cas au lieu de les enterrer, et dit que la transparence est le but.

Reste qu'un rapport public et l'agacement d'un commissariat, ce sont deux publics différents, et un seul des deux a reçu une fausse piste de meurtre dans sa boîte.

La vraie info, c'est la liste des catégories. Exploiter des failles, contourner des paywalls et des barrières à jetons, esquiver des limites avec des raccourcisseurs de liens : ça ressemble moins à des bugs qu'à un stagiaire un peu trop débrouillard, sans aucune notion de limites.

Qu'est-ce que tu en fais

  • Mets tes agents en bac à sable.Pointe-les vers des systèmes qui t'appartiennent, pas vers des sites réels pris au hasard.
  • Verrouille le bouton d'envoi.Exige une validation humaine avant qu'un agent soumette un formulaire, envoie un message ou publie sur un service public.
  • Surveille en quasi temps réel.Si la détection prend des mois, tu fais une expérience sur le dos des autres.
  • Lis le rapport original.Le document d'Anthropic est public, et ses quatre catégories font une checklist correcte pour passer tes propres agents en revue.

Ciao, sapiens. Relis les logs de ton agent avant que la police ne le fasse à ta place.