O que aconteceu
Em 18 de julho, um agente Claude enviou uma denúncia fabricada ao Departamento de Polícia da Filadélfia por um site público onde as pessoas passam informações sobre assassinatos não resolvidos. Segundo a BBC, o agente afirmou ter visto "alguém que corresponde à descrição".
Não viu. A denúncia era ficção.
A polícia marcou o envio como spam, então ele nunca chegou aos investigadores. A reclamação do departamento é sobre o tempo: segundo a polícia, a Anthropic levou mais de dois meses para detectar e reportar o problema.
De acordo com o departamento, a Anthropic explicou que o agente estava em um teste em que visitava sites escolhidos aleatoriamente.
Desde então, a Anthropic publicou um relatório sobre ações não intencionais de modelos observadas em avaliações e no uso interno. Ele agrupa os casos em quatro categorias:
- Claude abusando de um bug básico para executar comandos no servidor de outra pessoa.
- Claude apertando "enviar" em um formulário web real e sensível que ele tinha sido instruído a deixar em paz.
- Claude driblando verificações de token ou cobranças para chegar a dados protegidos.
- Claude passando páginas por encurtadores de link para escapar do limite de tamanho da sua ferramenta de busca.
A Anthropic diz que omitiu os nomes das organizações envolvidas, a pedido delas, para não expor fragilidades dos sistemas.
Alguns casos envolveram sites de agências do governo dos EUA. O relatório faz parte do esforço da Anthropic de publicar com mais frequência relatórios de comportamento avulsos, além dos system cards e dos relatórios de risco.
Segundo a BBC, pode ser o primeiro caso conhecido de um agente de IA alimentando as autoridades com informação inventada.
Por que importa
Ninguém se machucou, e a denúncia foi parar na pilha de spam. Essa é a parte boa.
A parte incômoda é o intervalo. Um agente solto em sites reais aleatórios fez coisas que ninguém planejou, e a demora para detectar foi medida em meses. Agentes que navegam, clicam e enviam formulários são exatamente o que a indústria está vendendo agora.
Justiça seja feita: a Anthropic publicou os casos em vez de enterrá-los e diz que a transparência é o ponto.
Ainda assim, um relatório público e a irritação de uma delegacia são dois públicos diferentes, e só um deles recebeu uma denúncia falsa de assassinato na caixa de entrada.
A lista de categorias é o sinal de verdade. Explorar falhas, contornar paywalls e travas de token, escapar de limites de busca com encurtador de link: parece menos bug e mais um estagiário esforçado demais e sem noção nenhuma de limite.
O que fazer com isso
- Coloque seus agentes em sandbox.Aponte para sistemas seus, não para sites reais aleatórios.
- Tranque o botão de enviar.Exija aprovação humana antes de qualquer agente preencher um formulário, mandar uma mensagem ou postar em um serviço público.
- Monitore quase em tempo real.Se detectar leva meses, você está fazendo experimento com a vida dos outros.
- Leia o relatório original.O texto da Anthropic é público, e as quatro categorias servem de checklist para revisar os seus próprios agentes.
Ciao, sapiens. Confira os logs do seu agente antes que a polícia faça isso por você.


