El benchmark lo eligió quien te lo está enseñando.

Dentro del expediente

La presentación enseña una tabla. Su producto arriba. Debajo, los competidores. Y un número que redondea sospechosamente bien.

Aquí se aplica lo mismo que este cuaderno aplica a comprar software, con el ticket más caro, sin pretender asesorar sobre ninguna operación concreta. Se trata de qué puedes comprobar y qué te estás creyendo.

Un benchmark que elige el vendedor no es evidencia independiente

Un benchmark es una prueba. Como cualquier prueba, tiene autor. Y el autor decide qué se mide. Decide también sobre qué material se mide y cuándo se considera acierto. Cuando esas decisiones las toma quien vende el resultado, lo que hay encima de la mesa es una elección presentada como medición, y no una medición.

No acuso a nadie de mentir. La selección no necesita mala fe. Basta con probar varias configuraciones y quedarse con la que salió bien, que es lo que hace cualquiera con prisa. El problema es que el número que enseñan llega sin el registro de los números que no aparecieron.

Yo preguntaría por eso antes que por el resultado. Cuántas veces se corrió la prueba y qué versión estaba debajo cada vez. Si la respuesta llega en forma de adjetivo, ya tengo la información que buscaba.

Qué significa que una métrica sea reproducible

Reproducible significa que otra persona, con el mismo material y sin ayuda del vendedor, llega a un resultado equivalente, y poco tiene que ver con que el número sea bonito. Esa es toda la definición.

Lo que casi nunca se entrega es la parte aburrida que la haría posible, que son la versión exacta de lo evaluado y el criterio de corrección escrito antes de correr la prueba y no después de ver cómo salió. Sin esas dos piezas nadie puede repetir nada. Puede admirar el resultado, que es distinto.

Y hay una razón para insistir. Medir un efecto de productividad de forma fiable resulta endiabladamente difícil incluso cuando nadie tiene interés comercial en el resultado. METR montó en 2025 un experimento con desarrolladores experimentados sobre proyectos que ya conocían, y el trabajo con las herramientas evaluadas salió más lento en lugar de más rápido Fuente primaria ↗. Meses después, la propia METR reconoció sesgos de selección y problemas de medición en la continuación del experimento, sin ofrecer una estimación fiable de cuánto había cambiado el efecto Fuente primaria ↗. Publicar los fallos del método propio es la señal que busco. Si una empresa enseña una mejora espectacular y no sabe contarte qué falló en las mediciones que no enseña, tienes una afirmación comercial con formato de dato.

Capacidad y control son cosas distintas

Una demostración enseña que el sistema puede hacer algo. Es información útil. Pero la pregunta que decide una operación es otra, que es qué ocurre cuando el sistema hace algo que no debía y quién se entera antes que el cliente.

Capacidad y control se compran por separado, aunque se vendan juntos. Una empresa puede tener un producto que funciona muy bien el día bueno y ninguna manera de saber con qué frecuencia llega el día malo. La capacidad se enseña en veinte minutos. El control tarda meses en construirse. Con la caja apretada, la tentación es enseñar lo primero y prometer lo segundo.

Yo pediría un caso en el que el sistema falló ante un cliente real. Con eso se ve si existe el expediente, es decir, qué se detectó y qué cambió después. Una empresa que no puede enseñar un fallo documentado tiene fallos igualmente, y lo que le falta es el registro.

Caso sintético, o medir muy bien lo que ya no importa

Caso sintético. No describe ninguna empresa ni ningún fondo real. Una compañía presenta una métrica impecable sobre la calidad de sus respuestas, con su conjunto de casos y su criterio de acierto. El problema es que ese conjunto se congeló hace un año y los clientes de hoy traen documentos que no se parecen a aquello. La métrica sigue subiendo. El producto lleva meses sin mejorar para nadie que pague.

Nadie ha mentido ahí. Se ha medido con rigor una cosa que dejó de representar el trabajo real. Por eso preguntaría cuándo se actualizó ese conjunto de casos y quién decide qué entra en él. Una métrica que nunca cambia de material es un espejo, no un termómetro.

Qué compra el capital riesgo cuando el modelo es de otro

Esta parte se pasa muy deprisa. Si el modelo lo entrena un tercero, ese tercero puede subir el precio mañana o retirar la versión sobre la que se construyó el producto entero. La empresa no controla su motor y a veces ni siquiera sabe cuándo cambió.

Cuando el motor es sustituible, el activo está en lo que se ha construido alrededor y no se copia en un fin de semana, que es el conjunto de casos propios con sus resultados anotados y el proceso que convierte una salida dudosa en algo entregable. Esa evidencia acumulada se paga con tiempo de operación y no con una ronda.

Un envoltorio sobre un modelo ajeno puede ser un negocio excelente. También puede ser un intermediario sin nada propio. La diferencia se ve en si alguien ha acumulado algo que el proveedor del modelo no pueda replicar apretando un botón, más que en la demostración.

La cadena de titularidad que preguntaría antes de firmar

Con el software la pregunta es qué se puede enseñar sobre cada pieza, más que de quién es la idea. La legislación española identifica como autor a la persona natural creadora y protege creaciones originales, con reglas específicas para los programas de ordenador Fuente primaria ↗. Sobre material construido con ayuda de modelos, sostener la autoría de cada fragmento resulta incómodo, y ese es un punto que conviene plantear en la reunión.

Preguntaría quién escribió el núcleo y qué entró desde repositorios de terceros con su licencia. Y preguntaría qué firmaron los fundadores con sus empleadores anteriores, que es donde pueden aparecer sorpresas caras.

Luego está el conocimiento, que no vive en el repositorio. La Ley 1/2019 condiciona la protección del secreto empresarial a que la información siga sin ser pública y a que existan medidas razonables para conservarla Fuente primaria ↗. Si el criterio que hace bueno al producto está en la cabeza de dos personas que pueden marcharse el martes, no hay activo protegido, y lo que hay es una dependencia con nombre y apellidos, sentada en la mesa.

La prueba que pediría antes de creerme el número

Una sola cosa, correr la prueba con material que traigo yo, en un entorno que no ha preparado el vendedor.

La respuesta a esa petición vale más que el resultado. Un equipo que acepta y pierde un poco de brillo está enseñando cómo trabaja. Un equipo que explica por qué eso no sería representativo también, y a veces esa explicación es honesta.

Nada de esto dice si una empresa merece una inversión. Dice qué parte de lo que te han contado podrías comprobar mañana y qué parte tendrás que creerte a ciegas. Con el dinero de otros, esa distinción debería importar bastante.

Un benchmark elegido por el vendedor mide con enorme precisión lo bien que el vendedor elige benchmarks.

Lo que me preguntan cuando cierro el portátil.

¿Por qué no vale un benchmark facilitado por la propia empresa?

Porque quien lo facilita decidió también qué se medía y cuándo se consideraba acierto. No hace falta mala fe para que el número salga favorable, porque basta con probar varias configuraciones y quedarse con la que funcionó. El resultado puede ser cierto y aun así no ser evidencia independiente, porque llega sin el registro de las pruebas que no se enseñan.

¿Qué significa que una métrica de inteligencia artificial sea reproducible?

Que otra persona, con acceso al mismo material y sin ayuda de quien vende, obtiene un resultado equivalente. Eso exige saber qué versión exacta se evaluó y con qué criterio de corrección, fijado antes de correr la prueba. Sin esas dos cosas hay un número, que no es lo mismo que una medición.

¿Qué activos tiene una empresa de IA cuando el modelo es de un tercero?

Rara vez el modelo, que se puede sustituir. Lo que queda es el conjunto de casos propios con sus resultados anotados y el proceso que convierte una salida dudosa en algo entregable. Ese material se protege peor por la vía de la autoría que por la del secreto empresarial, y depende de que existan medidas razonables para conservarlo.

El expediente detrás del artículo.

Productividad con IA: experimento de 2025 ↗METR · Becker y colaboradores · 2025
Estudio experimental / preprintMETR revisa cómo mide la productividad ↗METR · actualización del 24 de febrero · 2026
Actualización de investigaciónLey de Propiedad Intelectual ↗BOE · texto consolidado; artículos citados en cada expediente · 1996
Texto consolidado; comprobar redacción aplicableLey 1/2019 de Secretos Empresariales ↗BOE · artículos 1 y 2; creación independiente e ingeniería inversa en el artículo 2.1 · 2019
Normativa española

Fuentes consultadas el 10 de septiembre de 2026. Las recomendaciones y ejemplos son elaboración editorial y no se atribuyen íntegramente a estas fuentes. Comprueba versión y ámbito antes de aplicar una norma.

Divulgación general. Ninguna herramienta de esta web certifica la revisión, seguridad o conformidad de un proceso.