I. La demostración no es el examen
Una demostración y una prueba de aceptación se parecen por fuera: en ambas alguien escribe una pregunta y observa una salida. La diferencia está en quién ha elegido las condiciones. En la demostración, el proveedor conoce el producto, conoce sus puntos fuertes y puede escoger documentos y consultas que los muestren. En una aceptación seria, la organización define antes qué necesita, congela la versión que va a evaluar y abre un banco que el sistema no ha utilizado para corregirse.
El banco independiente del capítulo 6 sirve aquí como ejemplo. No era un dominio nuevo ni una biblioteca distinta: seguíamos dentro de los mismos setenta libros. La independencia significaba algo más concreto. Las 500 necesidades, sus páginas de referencia y sus dos formulaciones A/B no habían intervenido en la construcción de la regla adaptativa, en la elección de MiniLM ni en el contrato final que recibió el generador.
La prueba incluyó también la generación. El balance final reunió las adjudicaciones de la evaluación por IA y las decisiones humanas de utilidad incorporadas posteriormente: 931 respuestas satisfactorias o aceptadas y 26 abstenciones apropiadas o prudentes, sobre mil ejecuciones. En una comprobación distinta, la evaluación documental por IA consideró suficientes tanto la respuesta como sus citas en 862 casos. No son tres maneras de medir lo mismo. La revisión humana quedó cerrada en su alcance y no constituye una auditoría exhaustiva de cada cita.
También era un examen imperfecto. Se había construido de forma sistemática, pero no había recibido una revisión humana exhaustiva de sus quinientas parejas. La palabra independiente no debía confundirse con infalible. Esa cautela es útil para la compra: un banco puede estar bien separado del desarrollo y, aun así, contener errores. Lo importante es que sus defectos se documenten sin modificarlo después de haber visto los resultados.
Antes de ejecutar la prueba deben quedar fijados el sistema, el banco y las reglas de evaluación. Quien prepara las preguntas puede conocer las fuentes, pero las consultas del examen y sus soluciones deben quedar fuera del ajuste de la versión evaluada. Si después se aprovechan los fallos para cambiar el producto, esos casos pasan a servir al desarrollo; una nueva confirmación necesitará preguntas que no hayan intervenido en el cambio.