Aller au contenu

IA

OpenAI invente le test des corvées que tu détestes

LifeVal note l'IA sur la recherche de crèche, la gestion de l'argent et la paperasse administrative. Enfin un benchmark qui mesure ce qui te gâche ton mardi.

Photo de couverture : HaeB / CC BY-SA 4.0

TL;DR

  1. OpenAI lance LifeVal, un benchmark sur les tâches du quotidien plutôt que sur des questions d'examen.
  2. Au programme : trouver une crèche, gérer ses finances, se débrouiller avec la paperasse administrative.
  3. Zéro score dans l'annonce. Le vrai test : qui sera noté ensuite ?

Ce qui s'est passé

OpenAI a présenté LifeVal, un benchmark qui mesure à quel point l'IA aide vraiment les gens à venir à bout de tâches du quotidien. L'annonce cite trois exemples : trouver une solution de garde pour enfant, gérer ses finances et s'occuper de la paperasse administrative.

Voilà tout le pitch, et il est d'un prosaïsme réjouissant. Pas de démonstration de théorèmes, pas de chimie niveau doctorat, pas d'énigmes sur des trains qui partent de gares imaginaires. Juste le marécage administratif dans lequel pataugent la plupart des sapiens entre le café et le déjeuner.

L'objectif, selon OpenAI : évaluer à quel point l'IA aide concrètement les gens à accomplir des tâches réelles. Le mot qui porte tout le poids, c'est « aide ». Pas « répond à des questions sur ». Aide à terminer.

L'annonce est courte et ne contient ni scores, ni classement de modèles, ni détails de méthodologie. On a donc une déclaration d'intention et une nouvelle règle graduée, pas un classement. Ceux qui attendaient un tour d'honneur chiffré patienteront.

Pourquoi ça compte

Les benchmarks, c'est la façon dont l'industrie compte les points, et depuis des années le tableau d'affichage penche du côté académique. Un modèle peut exploser un examen costaud et pourtant se vautrer sur une recherche de crèche ou un formulaire d'impôts. Ce ne sont pas les mêmes muscles.

LifeVal braque le tableau sur la vie de tous les jours. Si les tâches sont bien conçues, on saura si un assistant te fait gagner un après-midi, ou s'il se contente de rédiger un paragraphe plein d'aplomb sur le sujet.

Un benchmark sur les crèches et la paperasse, c'est un benchmark qui demande si l'IA est utile aux gens normaux.

Il y a aussi une réserve évidente, et on la pose franchement. OpenAI a conçu le test, et OpenAI fabrique les produits qui seront testés. Ça ne rend pas LifeVal mauvais. Ça veut juste dire que les détails comptent : quelles tâches, comment on juge la réussite, et si les systèmes des autres labos sont notés selon les mêmes règles.

Un examen écrit par le vendeur reste un examen. Mais mieux vaut lire le programme avant d'applaudir les notes.

Reste que la direction est la bonne. Mesurer l'utilité pratique éloigne la conversation du théâtre des classements et la rapproche d'une question que les gens se posent vraiment : est-ce que ce truc peut faire mes corvées ?

Qu'est-ce que tu en fais

  • Lis les petites lignes.Ouvre la page LifeVal et regarde comment les tâches sont définies et notées avant de citer le moindre résultat.
  • Monte ton mini-benchmark.Liste trois tâches administratives que tu redoutes, lance les mêmes prompts sur les assistants que tu utilises, et compare.
  • Surveille qui passe le test.Un benchmark ne vaut que si les concurrents sont notés aussi : regarde si les systèmes des autres labos apparaissent.
  • Garde un humain sur la paperasse.Formulaires administratifs et finances ont de vraies conséquences : vérifie tout ce qu'un assistant remplit avant de valider.

Ciao, sapiens. Les robots révisent l'examen de paperasse. C'est toujours toi qui signes le formulaire.