El capítulo anterior cerró una secuencia que antes habíamos ido construyendo por piezas. Primero medimos si la recuperación encontraba y ordenaba la página correcta; después entregamos al 20B las doce candidatas para comprobar qué podía responder y demostrar. El banco nuevo se abrió solo cuando la arquitectura estaba congelada. Ya tenemos una fotografía de la cadena completa, no una simple demostración escogida para impresionar.
Ese cambio metodológico es probablemente la lección más útil para quien no quiere construir un sistema, sino comprarlo, implantarlo o autorizarlo. Una demostración comercial puede probar que una herramienta es capaz de responder bien. No prueba con la misma facilidad cuándo responde mal, qué ocurre cuando la pregunta cambia de palabras, qué hace ante una premisa falsa ni cuánto de su respuesta puede volver realmente a una página.
Este capítulo no propone otra arquitectura. Traduce el recorrido anterior a una pregunta de decisión: ¿qué debería exigir una organización antes de conceder autoridad a una máquina que trabaja con sus documentos? La respuesta no depende de copiar nuestro BM25, nuestro Qwen, MiniLM o gpt-oss:20b. Depende de poder observar y medir las funciones que esas piezas desempeñan.
Conviene separar desde el principio dos trabajos. En el uso cotidiano de Arcanum, el analista pregunta lo que necesita saber. El banco que tratamos aquí sirve para evaluar la herramienta; no es una lista que el usuario deba preparar antes de empezar a consultarla.
La demostración enseña capacidad. El examen mide hasta dónde merece confianza esa capacidad.