Pular para o conteúdo

IA

A IA que corrige seus investimentos concorda com os seniores em 88,6%

O Eval Agent da Terminal X roda o GPT-6.1 Sol contra uma rubrica de 54 critérios e, segundo a empresa, pega 25% mais desvios de mandato de fundos que investidores seniores. A caneta vermelha mudou de dono.

Foto de capa: Jernej Furman from Slovenia / CC BY 2.0

TL;DR

  1. O Eval Agent da Terminal X avalia resultados de investimento com uma rubrica de 54 critérios, usando o GPT-6.1 Sol.
  2. Segundo o anúncio, ele bate com o julgamento de investidores seniores em 88,6% das vezes.
  3. Ele pega 25% mais desvios do mandato de um fundo do que os investidores seniores.

O que aconteceu

O Eval Agent avalia resultados de investimento com base em uma rubrica de 54 critérios, e quem dá as notas é o GPT-6.1 Sol. A Terminal X diz que o sistema bate com o julgamento de investidores seniores em 88,6% das vezes.

O segundo número é o mais picante. A Terminal X afirma que o agente pega 25% mais desvios do mandato de um fundo do que os investidores seniores. O mandato é o livro de regras do que o fundo deve fazer, então um desvio é o fundo saindo do próprio roteiro.

As duas cifras vêm do anúncio, então trate como alegação do fornecedor até alguém de fora da empresa refazer o teste.

Por que importa

A maioria das manchetes de IA em finanças fala de gerar coisas: análises, resumos, respostas. Esta fala de conferir coisas. Um modelo que avalia resultados em escala é um trabalho diferente do de um modelo que escreve, e dá para argumentar que é mais útil.

O 88,6% pede leitura com cuidado. Ele diz que o avaliador concorda com os seniores na maior parte do tempo, um bom sinal de que a rubrica reflete como os especialistas pensam. Não diz que o avaliador está certo quando os dois discordam.

É aí que entra a alegação dos 25%. Se o agente realmente aponta mais desvios de mandato que os seniores, essa diferença é o produto. Humanos lendo textos longos cansam e passam o olho na diagonal. Rubrica não faz nenhuma das duas coisas.

O escopo é estreito. É a ferramenta de uma única empresa, voltada a equipes de investimento corporativas, e o detalhe público se resume a um anúncio com três números. Dá para levar a sério, mas não para chamar de revolução.

Ainda assim, o padrão merece atenção, sapiens. O papel do especialista está migrando de fazer a checagem para definir o que será checado.

O que fazer com isso

  • Roube a ideia da rubrica.Quebre "bom resultado" em critérios explícitos, como a Terminal X fez com 54, antes de pedir a qualquer modelo que julgue qualquer coisa.
  • Peça o teste.Se um fornecedor cita uma taxa de concordância, pergunte contra o quê ela foi medida e quem eram os revisores.
  • Olhe as discordâncias.Um acerto de 88,6% significa que os casos interessantes estão no resto, então coloque um humano para revisar esses.
  • Confira seus mandatos.Se você gerencia dinheiro, veja com que facilidade suas próprias regras viram um checklist que uma máquina consegue ler.

Ciao, sapiens. A rubrica tem 54 critérios. A sua avaliação de desempenho tem menos, por enquanto.