O que aconteceu
O Eval Agent avalia resultados de investimento com base em uma rubrica de 54 critérios, e quem dá as notas é o GPT-6.1 Sol. A Terminal X diz que o sistema bate com o julgamento de investidores seniores em 88,6% das vezes.
O segundo número é o mais picante. A Terminal X afirma que o agente pega 25% mais desvios do mandato de um fundo do que os investidores seniores. O mandato é o livro de regras do que o fundo deve fazer, então um desvio é o fundo saindo do próprio roteiro.
As duas cifras vêm do anúncio, então trate como alegação do fornecedor até alguém de fora da empresa refazer o teste.
Por que importa
A maioria das manchetes de IA em finanças fala de gerar coisas: análises, resumos, respostas. Esta fala de conferir coisas. Um modelo que avalia resultados em escala é um trabalho diferente do de um modelo que escreve, e dá para argumentar que é mais útil.
O 88,6% pede leitura com cuidado. Ele diz que o avaliador concorda com os seniores na maior parte do tempo, um bom sinal de que a rubrica reflete como os especialistas pensam. Não diz que o avaliador está certo quando os dois discordam.
É aí que entra a alegação dos 25%. Se o agente realmente aponta mais desvios de mandato que os seniores, essa diferença é o produto. Humanos lendo textos longos cansam e passam o olho na diagonal. Rubrica não faz nenhuma das duas coisas.
O escopo é estreito. É a ferramenta de uma única empresa, voltada a equipes de investimento corporativas, e o detalhe público se resume a um anúncio com três números. Dá para levar a sério, mas não para chamar de revolução.
Ainda assim, o padrão merece atenção, sapiens. O papel do especialista está migrando de fazer a checagem para definir o que será checado.
O que fazer com isso
- Roube a ideia da rubrica.Quebre "bom resultado" em critérios explícitos, como a Terminal X fez com 54, antes de pedir a qualquer modelo que julgue qualquer coisa.
- Peça o teste.Se um fornecedor cita uma taxa de concordância, pergunte contra o quê ela foi medida e quem eram os revisores.
- Olhe as discordâncias.Um acerto de 88,6% significa que os casos interessantes estão no resto, então coloque um humano para revisar esses.
- Confira seus mandatos.Se você gerencia dinheiro, veja com que facilidade suas próprias regras viram um checklist que uma máquina consegue ler.
Ciao, sapiens. A rubrica tem 54 critérios. A sua avaliação de desempenho tem menos, por enquanto.


