Qué pasó
El Eval Agent evalúa resultados de inversión contra una rúbrica de 54 criterios, y quien pone las notas es GPT-6.1 Sol. Terminal X asegura que el sistema coincide con el criterio de los inversores senior el 88,6 % de las veces.
El segundo número es el picante. Terminal X afirma que el agente detecta un 25 % más de desvíos del mandato de un fondo que los inversores senior. El mandato de un fondo es el reglamento de lo que se supone que debe hacer, así que un desvío es el fondo saliéndose de su propio guion.
Las dos cifras salen del anuncio, así que tómalas como afirmaciones del proveedor hasta que alguien de fuera repita la prueba.
Por qué importa
La mayoría de los titulares de IA en finanzas van de generar cosas: análisis, resúmenes, respuestas. Este va de revisar cosas. Un modelo que corrige a escala es un trabajo distinto al de un modelo que escribe, y probablemente más útil.
El 88,6 % merece una lectura con lupa. Dice que el corrector coincide con los senior la mayor parte del tiempo, buena señal de que la rúbrica refleja cómo piensan los expertos. No dice que el corrector tenga razón cuando ambos discrepan.
Ahí entra el 25 %. Si el agente de verdad marca más desvíos de mandato que los senior, esa diferencia es el producto. Los humanos que leen resultados larguísimos se cansan y leen en diagonal. Una rúbrica no.
El alcance es estrecho. Es la herramienta de una sola empresa, dirigida a equipos de inversión corporativos, y el detalle público es un único anuncio con tres números. Basta para tomárselo en serio, no para hablar de revolución.
Aun así, el patrón merece atención, sapiens. El papel del experto pasa de hacer la comprobación a definir qué se comprueba.
Qué hacer con esto
- Roba la idea de la rúbrica.Desglosa qué es un "buen resultado" en criterios explícitos, como hizo Terminal X con 54, antes de pedirle a ningún modelo que juzgue nada.
- Pide la prueba.Si un proveedor presume de una tasa de coincidencia, pregunta contra qué se midió y quiénes eran los revisores.
- Vigila los desacuerdos.Un 88,6 % de coincidencia significa que lo interesante está en el resto, así que que lo revise una persona.
- Revisa tus mandatos.Si gestionas dinero, comprueba con qué facilidad tus propias reglas podrían escribirse como una lista que una máquina sepa leer.
Ciao, sapiens. La rúbrica tiene 54 criterios. Tu evaluación de desempeño tiene menos, por ahora.


