Contextualizar 37.081 fragmentos no mejoró mi buscador fiscal.
El contextual retrieval de Anthropic prometía recuperar mejor los fragmentos. Lo medí sobre mi corpus fiscal completo y el resultado fue negativo. Lo que sí movía la aguja era aburrido, y la frontera de verdad está en otro sitio. Recuperar fragmentos plausibles no es verificar pasajes.
Dentro del expediente
El contextual retrieval que Anthropic presentó en septiembre de 2024 promete encontrar mejor los fragmentos anteponiendo a cada uno un contexto breve generado por un modelo. Sus autores la midieron sobre sus conjuntos y publicaron mejoras grandes. Pagué por aplicarla a mi corpus fiscal completo. El buscador empeoró. Esta es la cuenta, con factura.
Probé esta técnica sobre un corpus propio, un buscador híbrido sobre 37.081 fragmentos de normativa, doctrina y consultas vinculantes, con un conjunto de preguntas de prueba propio a nivel documento. No es un benchmark público.
Lo que prometía
El método es sencillo de contar. Antes de indexar, un modelo escribe un par de frases que sitúan cada fragmento en su documento y esas frases viajan con el fragmento. Combinado con búsqueda léxica, los autores reportaron un 49% menos de casos en que el fragmento pertinente no aparecía entre los 20 primeros; con reordenamiento encima, un 67% menos Fuente primaria ↗. Números de sus conjuntos, medidos por ellos y presentados como eso.
Lo que un anuncio no puede prometer es la transferencia. Una mejora medida en los conjuntos de Anthropic no garantiza una mejora en mi corpus jurídico.
Lo que medí
Contextualicé el corpus completo. La factura fue de 42,94 dólares en llamadas al modelo y unas cinco horas y media de generación, más 81 minutos de re-embebido. Después, el golden entero. El recall a nivel documento bajó un 2,3%. La técnica me costó dinero, tardanza, y me dejó el buscador peor de lo que estaba.
No he aislado la causa, y esta prueba no demuestra el mecanismo. Mi hipótesis es que los fragmentos de normativa ya se identifican solos. Un trozo de la Ley del IRPF llega con artículo, apartado y rango; una consulta vinculante, con número y fecha. El contexto generado podría estar diluyendo la señal que esos identificadores ya traían en vez de añadir información nueva. Queda dicho como hipótesis, no como conclusión.
El reordenador tampoco era gratis
El siguiente adorno fue un reranker neuronal encima del híbrido. Re-medido con la rama semántica arreglada y el mismo golden, salió un 7,6% más de MRR y un 9% más de recall@10. Aceptable, con dos peros. Primero, estropeó cuatro consultas que el híbrido ya resolvía perfecto, de 1,000 a 0,500, porque cuando el documento correcto ya está arriba, reordenar solo puede estropear. Segundo, probé un router que decidiera por la confianza del top-1 cuándo activarlo, y no separaba los casos buenos de los malos. El reranker se quedó, con presupuesto acotado. Como empleado, no como oráculo.
Lo que sí movía la aguja
Todo lo que mejoró el sistema era aburrido, y consistió en trocear siguiendo la estructura del documento normativo en vez de un tamaño fijo, y reforzar la capa léxica. AI21 mostró que el tamaño óptimo de fragmento depende de la pregunta, no del corpus Fuente primaria ↗. Su prueba no valida mi troceado por estructura, porque su método combina varios tamaños y fusiona los resultados. Lo mío es más sencillo y no lo he medido contra el suyo.
La frontera que ningún adorno cruza
Stanford, midiendo las herramientas jurídicas de los grandes proveedores, chocó con el mismo muro que yo. Comprobar que una fuente respalda de verdad una afirmación no se dejó a evaluación automática, porque depende de un juicio sobre el peso del texto. Lo revisaron a mano Fuente primaria ↗.
Desde entonces mi regla es otra. El modelo redacta sobre un pasaje exacto, citado con su página, que cualquiera puede volver a abrir, y no sobre «resultados relevantes». Eso permite comprobar el texto. No demuestra que respalde la conclusión, y el golden documental mide recuperación, no respaldo jurídico. Recuperar fragmentos plausibles es búsqueda. Verificar pasajes es otra profesión. Mi medición demuestra un fallo de recuperación; la consecuencia fiscal la firma el criterio, no el experimento.
Mide el adorno sobre tu corpus entero antes de pagarlo. Y no llames verificación a tu búsqueda.
Lo que me preguntan cuando cierro el portátil.
¿Qué es el contextual retrieval y qué prometía?
Es un método de indexado publicado por Anthropic en 2024. Antes de guardar cada fragmento, un modelo le anteponía dos o tres frases que lo sitúan en su documento, y esas frases se embebían junto al fragmento. Combinado con búsqueda léxica, sus autores reportaron un 49% menos de fallos de recuperación y un 67% menos añadiendo reordenamiento. Medido sobre su corpus, no sobre el tuyo.
¿Por qué a ti te empeoró si a ellos les mejoró?
No he aislado la causa. Mi hipótesis es que el contexto añadido diluye identificadores que mis fragmentos ya llevan, como el artículo, el número y la fecha. La prueba no demuestra ese mecanismo. La cifra exacta es de 42,94 dólares y casi siete horas de proceso para un 2,3% menos de recall a nivel documento.
¿Sirve de algo el reranker entonces?
En mi caso, un 7,6% más de MRR y un 9% más de recall@10, con cuatro consultas empeoradas que el híbrido ya resolvía perfecto. Lo mantengo con presupuesto acotado; lo que no encontré es una señal fiable que diga cuándo activarlo y cuándo callarse.
¿Qué es recuperar y qué es verificar?
Recuperar es que el fragmento pertinente aparezca en la lista de resultados. Verificar es comprobar que el pasaje respalda la afirmación que vas a firmar. El estudio de Stanford sobre herramientas jurídicas dejó la segunda fuera de la evaluación automática y la revisó a mano. Mi regla es que el modelo solo redacta sobre pasaje exacto con su página, que permite comprobar el texto. No demuestra que respalde la conclusión.
Antes de pagar un adorno de recuperación, mídelo sobre tu corpus entero con un golden de casos propios. Y no llames verificación a tu búsqueda. El pasaje exacto con su página permite comprobar el texto, pero no demuestra que respalde la conclusión. Ese juicio sigue siendo tuyo.
El expediente detrás del artículo.
Introducing Contextual Retrieval ↗Anthropic · Engineering, 19 de septiembre · 2024Publicación técnicaChunk size is query-dependent: a simple multi-scale approach to RAG retrieval ↗Niv Granot, AI21 Labs · blog técnico, 29 de enero · 2026
Publicación de investigación aplicadaHallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools ↗Magesh, Surani, Dahl, Suzgun, Manning y Ho · Stanford · Journal of Empirical Legal Studies · 2025
Estudio empírico preregistrado; herramientas probadas en 2024
Fuentes consultadas hasta el 1 de octubre de 2026. Las recomendaciones y ejemplos son elaboración editorial y no se atribuyen íntegramente a estas fuentes. Comprueba versión y ámbito antes de aplicar una norma.
Divulgación general. Ninguna herramienta de esta web certifica la revisión, seguridad o conformidad de un proceso.