El benchmark lo eligió quien te lo está enseñando.

La presentación enseña una tabla. Su producto arriba. Debajo, los competidores. Y un número que redondea sospechosamente bien.

Esto no es asesoramiento de inversión ni una opinión sobre ninguna operación concreta. Es lo mismo que este cuaderno aplica a comprar software, con el ticket más caro: qué puedes comprobar y qué te estás creyendo.

Un benchmark que elige el vendedor no es evidencia independiente

Un benchmark es una prueba. Como cualquier prueba, tiene autor. Y el autor decide qué se mide. Decide también sobre qué material se mide y cuándo se considera acierto. Cuando esas decisiones las toma quien vende el resultado, lo que hay encima de la mesa no es una medición. Es una elección presentada como medición.

No acuso a nadie de mentir. La selección no necesita mala fe. Basta con probar varias configuraciones y quedarse con la que salió bien, que es lo que hace cualquiera con prisa. El problema no es el número que enseñan. Es que llega sin el registro de los números que no aparecieron.

Yo preguntaría por eso antes que por el resultado. Cuántas veces se corrió la prueba y qué versión estaba debajo cada vez. Si la respuesta llega en forma de adjetivo, ya tengo la información que buscaba.

Qué significa que una métrica sea reproducible

Reproducible no quiere decir que el número sea bonito. Quiere decir que otra persona, con el mismo material y sin ayuda del vendedor, llega a un resultado equivalente. Esa es toda la definición.

Lo que casi nunca se entrega es la parte aburrida que la haría posible: la versión exacta de lo evaluado y el criterio de corrección escrito antes de correr la prueba, no después de ver cómo salió. Sin esas dos piezas nadie puede repetir nada. Puede admirar el resultado, que es distinto.

Y hay una razón para insistir. Medir un efecto de productividad de forma fiable resulta endiabladamente difícil incluso cuando nadie tiene interés comercial en el resultado. METR montó en 2025 un experimento con desarrolladores experimentados sobre proyectos que ya conocían, y el trabajo con las herramientas evaluadas salió más lento en lugar de más rápido Fuente primaria ↗. Meses después, la propia METR reconoció sesgos de selección y problemas de medición en la continuación del experimento, sin ofrecer una estimación fiable de cuánto había cambiado el efecto Fuente primaria ↗. Publicar los fallos del método propio es la señal que busco. Si una empresa enseña una mejora espectacular y no sabe contarte qué falló en las mediciones que no enseña, tienes una afirmación comercial con formato de dato.

Demostrar capacidad no es demostrar control

Una demostración enseña que el sistema puede hacer algo. Es información útil. Pero la pregunta que decide una operación es otra: qué ocurre cuando el sistema hace algo que no debía y quién se entera antes que el cliente.

Capacidad y control se compran por separado, aunque se vendan juntos. Una empresa puede tener un producto que funciona muy bien el día bueno y ninguna manera de saber con qué frecuencia llega el día malo. La capacidad se enseña en veinte minutos. El control tarda meses en construirse. Cualquier equipo con la caja apretada enseña lo primero y promete lo segundo.

Yo pediría un caso en el que el sistema falló ante un cliente real. Para ver si existe el expediente: qué se detectó y qué cambió después. Una empresa que no puede enseñar un fallo documentado no es una empresa sin fallos. Es una empresa sin registro.

Caso sintético: medir muy bien lo que ya no importa

Caso sintético. No describe ninguna empresa ni ningún fondo real. Una compañía presenta una métrica impecable sobre la calidad de sus respuestas, con su conjunto de casos y su criterio de acierto. El problema es que ese conjunto se congeló hace un año y los clientes de hoy traen documentos que no se parecen a aquello. La métrica sigue subiendo. El producto lleva meses sin mejorar para nadie que pague.

Nadie ha mentido ahí. Se ha medido con rigor una cosa que dejó de representar el trabajo real. Por eso preguntaría cuándo se actualizó ese conjunto de casos y quién decide qué entra en él. Una métrica que nunca cambia de material es un espejo, no un termómetro.

Qué compra el capital riesgo cuando el modelo es de otro

Esta parte se pasa muy deprisa. Si el modelo lo entrena un tercero, ese tercero puede subir el precio mañana o retirar la versión sobre la que se construyó el producto entero. La empresa no controla su motor y a veces ni siquiera sabe cuándo cambió.

Cuando el motor es sustituible, el activo no está en el motor. Está en lo que se ha construido alrededor y no se copia en un fin de semana: el conjunto de casos propios con sus resultados anotados y el proceso que convierte una salida dudosa en algo entregable. Esa evidencia acumulada se paga con años de operación, no con una ronda.

Un envoltorio sobre un modelo ajeno puede ser un negocio excelente. También puede ser un intermediario con muy buena tipografía. La diferencia no se ve en la demostración. Se ve en si alguien ha acumulado algo que el proveedor del modelo no pueda replicar apretando un botón.

La cadena de titularidad que preguntaría antes de firmar

Con el software la pregunta no es de quién es la idea. Es qué se puede enseñar sobre cada pieza. La legislación española identifica como autor a la persona natural creadora y protege creaciones originales, con reglas específicas para los programas de ordenador Fuente primaria ↗. Sobre material construido con ayuda de modelos, sostener la autoría de cada fragmento resulta incómodo, y ese es el punto que nadie plantea en la reunión.

Preguntaría quién escribió el núcleo y qué entró desde repositorios de terceros con su licencia. Y preguntaría qué firmaron los fundadores con sus empleadores anteriores, que es donde aparecen las sorpresas caras.

Luego está el conocimiento, que no vive en el repositorio. La Ley 1/2019 condiciona la protección del secreto empresarial a que la información siga sin ser pública y a que existan medidas razonables para conservarla Fuente primaria ↗. Si el criterio que hace bueno al producto está en la cabeza de dos personas que pueden marcharse el martes, no hay activo protegido. Hay una dependencia con nombre y apellidos, sentada en la mesa.

La prueba que pediría antes de creerme el número

Una sola cosa. Correr la prueba con material que traigo yo, en un entorno que no ha preparado el vendedor.

La respuesta a esa petición vale más que el resultado. Un equipo que acepta y pierde un poco de brillo está enseñando cómo trabaja. Un equipo que explica por qué eso no sería representativo también, y a veces esa explicación es honesta.

Nada de esto dice si una empresa merece una inversión. No es mi oficio y no lo voy a fingir. Dice qué parte de lo que te han contado podrías comprobar mañana y qué parte tendrás que creerte a ciegas. Con el dinero de otros, esa distinción debería importar bastante.

Un benchmark elegido por el vendedor mide una cosa con enorme precisión: lo bien que el vendedor elige benchmarks.

Lo que me preguntan cuando cierro el portátil.

¿Por qué no vale un benchmark facilitado por la propia empresa?

Porque quien lo facilita decidió también qué se medía y cuándo se consideraba acierto. No hace falta mala fe para que el número salga favorable: basta con probar varias configuraciones y quedarse con la que funcionó. El resultado puede ser cierto y aun así no ser evidencia independiente, porque llega sin el registro de las pruebas que no se enseñan.

¿Qué significa que una métrica de inteligencia artificial sea reproducible?

Que otra persona, con acceso al mismo material y sin ayuda de quien vende, obtiene un resultado equivalente. Eso exige saber qué versión exacta se evaluó y con qué criterio de corrección, fijado antes de correr la prueba. Sin esas dos cosas hay un número, que no es lo mismo que una medición.

¿Qué activos tiene una empresa de IA cuando el modelo es de un tercero?

Rara vez el modelo, que se puede sustituir. Lo que queda es el conjunto de casos propios con sus resultados anotados y el proceso que convierte una salida dudosa en algo entregable. Ese material se protege peor por la vía de la autoría que por la del secreto empresarial, y depende de que existan medidas razonables para conservarlo.

El expediente detrás del artículo.

Productividad con IA: experimento de 2025 ↗METR · Becker y colaboradores · 2025
Estudio experimental / preprintMETR revisa cómo mide la productividad ↗METR · actualización del 24 de febrero · 2026
Actualización de investigaciónLey de Propiedad Intelectual ↗BOE · artículos 5, 10, 96 y 97 · 1996
Texto consolidado; comprobar redacción aplicableLey 1/2019 de Secretos Empresariales ↗BOE · artículos 1 y 2 · 2019
Normativa española

Fuentes consultadas el 9 de septiembre de 2026. Las recomendaciones y ejemplos son elaboración editorial: no se atribuyen íntegramente a estas fuentes. Comprueba versión y ámbito antes de aplicar una norma.

Divulgación general. Ninguna herramienta de esta web certifica la revisión, seguridad o conformidad de un proceso.