Salta al contenuto

IA

L'IA che corregge i tuoi investimenti: d'accordo coi senior all'88,6%

L'Eval Agent di Terminal X usa GPT-6.1 Sol con una griglia da 54 criteri e, a detta dell'azienda, scova il 25% in più di violazioni dei mandati dei fondi rispetto ai senior. La penna rossa ha cambiato mano.

Foto di copertina: HaeB / CC BY-SA 4.0

TL;DR

  1. L'Eval Agent di Terminal X valuta gli output di investimento con una griglia da 54 criteri, usando GPT-6.1 Sol.
  2. Secondo l'annuncio, coincide con il giudizio dei senior investor l'88,6% delle volte.
  3. Becca il 25% in più di scostamenti dal mandato di un fondo rispetto ai senior investor.

Cosa è successo

L'Eval Agent valuta gli output di investimento con una griglia da 54 criteri, e a fare da correttore c'è GPT-6.1 Sol. Terminal X dice che il sistema coincide con il giudizio dei senior investor l'88,6% delle volte.

Il secondo numero è quello piccante. Sempre secondo Terminal X, l'agente individua il 25% in più di scostamenti dal mandato di un fondo rispetto ai senior investor. Il mandato di un fondo è il regolamento di ciò che il fondo dovrebbe fare, quindi uno scostamento è il fondo che esce dal copione che si è scritto da solo.

Entrambe le cifre arrivano dall'annuncio: consideralo materiale dichiarato dall'azienda, finché qualcuno fuori dall'edificio non rifà il test.

Perché conta

La maggior parte dei titoli su IA e finanza parla di generare: analisi, riassunti, risposte. Qui si parla di controllare. Un modello che corregge output su larga scala fa un mestiere diverso da uno che li scrive, e probabilmente più utile.

Il dato dell'88,6% va letto con attenzione. Dice che il correttore è d'accordo coi senior investor quasi sempre, il che è un buon segnale che la griglia rifletta il modo di ragionare degli esperti. Non dice che il correttore abbia ragione quando i due non sono d'accordo.

Qui entra in gioco il 25%. Se l'agente segnala davvero più violazioni del mandato dei senior, la differenza è il prodotto. Gli umani che leggono output chilometrici si stancano e scorrono in diagonale. Una griglia no.

L'ambito è stretto. È lo strumento di una sola azienda, pensato per i team di investimento enterprise, e il dettaglio pubblico è un singolo annuncio con tre numeri. Abbastanza per prenderlo sul serio, non abbastanza per gridare alla rivoluzione.

Il pattern però vale la pena notarlo, sapiens: il ruolo dell'esperto passa dal fare il controllo al decidere cosa va controllato.

Cosa farne

  • Ruba l'idea della griglia.Spezzetta il "buon output" in criteri espliciti, come ha fatto Terminal X con 54, prima di chiedere a un modello di giudicare qualsiasi cosa.
  • Chiedi il test.Se un fornitore sbandiera un tasso di accordo, chiedi rispetto a cosa è stato misurato e chi erano i revisori.
  • Guarda i disaccordi.Un accordo all'88,6% significa che i casi interessanti sono tutti gli altri: falli rivedere a una persona.
  • Controlla i tuoi mandati.Se gestisci denaro, verifica quanto facilmente le tue regole potrebbero diventare una checklist leggibile da una macchina.

Ciao, sapiens. La griglia ha 54 criteri. La tua valutazione annuale ne ha meno, per ora.