XI. Lo que este libro no ha demostrado
Una metodología de evaluación pierde valor si termina convirtiendo sus propios resultados en promesas universales. Este libro ha trabajado con un corpus concreto, mayoritariamente en español, y con necesidades documentales construidas dentro de ese mismo dominio. El banco de quinientas necesidades del capítulo 6 es independiente respecto del desarrollo anterior, pero no cambia de biblioteca ni de materia. Mide generalización dentro del corpus; no demuestra que los mismos porcentajes aparezcan en expedientes clínicos, documentación industrial, inteligencia policial viva o archivos jurídicos de otra naturaleza.
Tampoco agotamos las posibilidades de adaptar Arcanum al vocabulario de este dominio. Una ampliación que quedó fuera del experimento sería incorporar un diccionario controlado de equivalencias para la búsqueda: sinónimos, términos en euskera y castellano, nombres y alias documentados, o expresiones propias de la jerga policial y de las organizaciones terroristas. No habría que pedirle a un modelo que propusiera esas equivalencias en cada consulta: podrían quedar recogidas en una tabla revisada por especialistas.
La idea es sencilla. Cuando la pregunta contenga una expresión incluida en ese diccionario, el programa podría buscar también por las alternativas previstas, conservando la pregunta original y dejando constancia de lo añadido. Ahí estaría el componente determinista: con la misma entrada, la misma tabla y las mismas reglas, se añadirían los mismos términos. No se trataría de sustituir palabras a ciegas; habría que distinguir las equivalencias claras de los alias ambiguos o las expresiones que cambian de significado según el contexto.
Ese diccionario abriría otras formas de buscar, pero no demostraría por sí solo ninguna respuesta. Su utilidad tendría que comprobarse: qué páginas permite recuperar y qué resultados irrelevantes introduce. Prepararlo y mantenerlo forma parte del trabajo de adaptar una herramienta a un archivo concreto. Aquí construimos un prototipo funcional y medimos su comportamiento; no pretendimos completar todas las adaptaciones de un producto especializado.
Tampoco todos los resultados tienen el mismo nivel de independencia. Las formulaciones del capítulo 5 participaron en el desarrollo de la generación; las del capítulo 6 se ejecutaron después de congelar el pipeline completo. Eso fortalece la comprobación, pero no la transforma en una validación humana exhaustiva. La evaluación documental de respuestas y citas fue realizada inicialmente por IA; la revisión humana posterior, concluida sobre los casos previstos, examinó utilidad para el analista. Aceptar una salida como útil no equivale a verificar todas las relaciones que afirma.
El intento posterior de generar preguntas con modelos locales tampoco demuestra que todos los modelos de ese tamaño sean inadecuados, ni mide cuánto costaría preparar el mismo banco a mano. Documenta las dificultades de las configuraciones y estrategias ensayadas. La viabilidad de producir borradores no equivale todavía a una ventaja de trabajo demostrada para quien tiene que aceptarlos.