Zum Inhalt springen

KI

Diese KI benotet Investments und liegt zu 88,6 % auf Senior-Linie

Der Eval Agent von Terminal X lässt GPT-6.1 Sol gegen einen Kriterienkatalog mit 54 Punkten antreten und findet laut Hersteller 25 % mehr Mandatsabweichungen als erfahrene Investoren. Der Rotstift hat den Besitzer gewechselt.

Titelfoto: HaeB / CC BY-SA 4.0

TL;DR

  1. Der Eval Agent von Terminal X bewertet Investment-Ergebnisse mit GPT-6.1 Sol anhand von 54 Kriterien.
  2. Laut Ankündigung deckt er sich in 88,6 % der Fälle mit dem Urteil erfahrener Investoren.
  3. Er findet 25 % mehr Abweichungen vom Fondsmandat als Senior-Investoren.

Was passiert ist

Der Eval Agent prüft Investment-Ergebnisse gegen einen Kriterienkatalog mit 54 Punkten, die Bewertung übernimmt GPT-6.1 Sol. Terminal X sagt, das System stimme in 88,6 % der Fälle mit dem Urteil erfahrener Investoren überein.

Die zweite Zahl ist die pikante. Laut Terminal X erkennt der Agent 25 % mehr Abweichungen vom Fondsmandat als Senior-Investoren. Das Fondsmandat ist das Regelbuch dafür, was ein Fonds tun soll. Eine Abweichung heißt also: Der Fonds läuft aus seinem eigenen Drehbuch.

Beide Zahlen stammen aus der Ankündigung. Behandle sie also als Herstellerangaben, bis jemand von außerhalb den Test noch einmal laufen lässt.

Warum es zählt

Die meisten KI-Schlagzeilen aus der Finanzwelt drehen sich ums Erzeugen: Analysen, Zusammenfassungen, Antworten. Hier geht es ums Prüfen. Ein Modell, das Ergebnisse in großem Stil bewertet, macht einen anderen Job als eines, das sie schreibt. Und wohl einen nützlicheren.

Die 88,6 % brauchen einen genauen Blick. Sie sagen, dass der Bewerter meistens mit erfahrenen Investoren übereinstimmt. Das ist ein ordentliches Zeichen dafür, dass der Katalog widerspiegelt, wie Experten denken. Sie sagen nicht, wer recht hat, wenn die beiden sich uneinig sind.

Genau hier kommt die 25-%-Behauptung ins Spiel. Wenn der Agent wirklich mehr Mandatsabweichungen meldet als Seniors, dann ist diese Lücke das Produkt. Menschen werden beim Lesen langer Texte müde und überfliegen. Ein Kriterienkatalog tut weder das eine noch das andere.

Der Rahmen ist eng. Es ist das Tool einer einzigen Firma, gedacht für Investmentteams in Unternehmen, und öffentlich bekannt ist eine einzige Ankündigung mit drei Zahlen. Das reicht, um es ernst zu nehmen. Für das Wort Revolution reicht es nicht.

Trotzdem lohnt sich der Blick aufs Muster, sapiens. Die Rolle des Experten verschiebt sich: weg vom Selbst-Prüfen, hin zum Festlegen, was überhaupt geprüft wird.

Was du damit machst

  • Klau die Rubrik-Idee.Zerlege "gutes Ergebnis" in klare Kriterien, so wie Terminal X es mit 54 getan hat, bevor du ein Modell irgendetwas beurteilen lässt.
  • Frag nach dem Test.Wenn ein Anbieter eine Übereinstimmungsrate nennt, frag, woran sie gemessen wurde und wer die Prüfer waren.
  • Schau auf die Meinungsverschiedenheiten.Bei 88,6 % Übereinstimmung sind die spannenden Fälle der Rest. Lass einen Menschen genau diese durchgehen.
  • Check deine Mandate.Wenn du Geld verwaltest, probier aus, wie leicht sich deine eigenen Regeln als Checkliste aufschreiben lassen, die eine Maschine lesen kann.

Ciao, sapiens. Der Katalog hat 54 Kriterien. Dein Mitarbeitergespräch hat weniger, noch.