Saltar al contenido

IA

OpenAI creó un examen para las tareas que más odias

LifeVal evalúa a la IA en búsqueda de guardería, gestión del dinero y papeleo del Gobierno. Por fin un benchmark que mide lo que te arruina el martes.

Foto de portada: Jernej Furman from Slovenia / CC BY 2.0

TL;DR

  1. OpenAI presentó LifeVal, un benchmark de tareas cotidianas en vez de preguntas de examen.
  2. Incluye buscar guardería, gestionar las finanzas y lidiar con el papeleo del Gobierno.
  3. El anuncio no trae puntuaciones. La prueba de verdad es a quién examinan después.

Qué pasó

OpenAI presentó LifeVal, un benchmark que mide qué tan bien ayuda la IA a las personas a completar tareas del día a día. El anuncio menciona tres ejemplos: buscar guardería, gestionar las finanzas y lidiar con el papeleo del Gobierno.

Ese es todo el planteamiento, y es refrescantemente poco glamuroso. Nada de demostrar teoremas, nada de química de nivel doctorado, nada de acertijos con trenes que salen de estaciones. Solo el pantano administrativo por el que la mayoría de los sapiens chapotea entre el café y la comida.

El objetivo, según OpenAI, es evaluar qué tan bien ayuda realmente la IA a sacar adelante tareas del mundo real. La palabra que carga con todo el peso es «ayuda». No «responde preguntas sobre». Ayuda a completar.

El anuncio es breve y no incluye puntuaciones, ni rankings de modelos, ni detalles de metodología. Es decir: una declaración de intenciones y una vara de medir nueva, no una tabla de clasificación. Quien esperara una vuelta de honor con cifras tendrá que esperar.

Por qué importa

Los benchmarks son la forma en que la industria lleva el marcador, y durante años ese marcador ha sido muy académico. Un modelo puede sacar matrícula en un examen difícil y aun así tropezar con la búsqueda de una guardería o un formulario de impuestos. Son músculos distintos.

LifeVal apunta el marcador a la vida diaria. Si las tareas están bien diseñadas, podría mostrar si un asistente te ahorra una tarde o solo escribe un párrafo muy seguro de sí mismo sobre cómo ahorrártela.

Un benchmark sobre guarderías y papeleo es un benchmark sobre si la IA le sirve a la gente normal.

Hay además una salvedad evidente, y la decimos claro. OpenAI diseñó el test, y OpenAI fabrica los productos que se van a evaluar. Eso no hace malo a LifeVal. Pero sí hace que los detalles importen: cuáles son las tareas, cómo se juzga el éxito y si los sistemas de otros laboratorios son evaluados en las mismas condiciones.

Un examen redactado por el proveedor sigue siendo un examen. Solo conviene leerse el temario antes de celebrar las notas.

Aun así, la dirección es buena. Medir la utilidad práctica aleja la conversación del teatro de las clasificaciones y la acerca a la pregunta que la gente sí se hace: ¿esto puede encargarse de mis marrones?

Qué hacer con esto

  • Lee la letra pequeña.Abre la página de LifeVal y revisa cómo se definen y se puntúan las tareas antes de citar cualquier resultado.
  • Monta tu propio mini-benchmark.Haz una lista de tres trámites que te dan pavor, pásales los mismos prompts a los asistentes que usas y compara.
  • Mira a quién examinan.Un benchmark solo significa algo si los competidores también salen en la foto, así que comprueba si aparecen los sistemas de otros laboratorios.
  • Deja a un humano al mando del papeleo.Los formularios oficiales y el dinero tienen consecuencias reales: verifica todo lo que rellene un asistente antes de enviarlo.

Ciao, sapiens. Los robots están estudiando para el examen de papeleo. El formulario lo sigues firmando tú.