XII. Qué debe exigir una organización antes de firmar
El expediente de compra debería poder responder unas pocas preguntas sin recurrir a lenguaje comercial. No todas exigen conocer la arquitectura interna del proveedor. Exigen, sobre todo, observables que permitan comprobar la promesa.
Tabla 7.5. Un dossier mínimo de aceptación
|
Pregunta |
Qué debería poder mostrar el proveedor |
|---|---|
|
¿Qué corpus se evaluó? |
Inventario, fecha de corte, documentos excluidos o pendientes y correspondencia entre lo que la interfaz muestra y lo que realmente está indexado. |
|
¿Quién preparó y revisó el banco? |
Procedencia de las preguntas, material autorizado, pauta de construcción, revisión, descartes y separación respecto del ajuste del sistema. |
|
¿Qué versión exacta respondió? |
Modelos, índices, prompts o contratos, parámetros relevantes y servicios activos congelados durante el examen. |
|
¿Qué significa «acierto»? |
Numerador, denominador y capa medida: página recuperada, posición, respuesta nuclear, evidencia suficiente, abstención o premisa corregida. |
|
¿Puede enseñarse la traza? |
Pregunta original, candidatos, páginas que llegaron al contexto, orden final, pasaje señalado y salida mostrada al usuario. |
|
¿Cómo se probó la reformulación? |
Un banco con necesidades equivalentes expresadas de formas distintas, no solo preguntas construidas con las palabras de la fuente. |
|
¿Cómo se probó la prudencia? |
Casos sin evidencia y premisas falsas acompañados de controles positivos para medir el coste de la cautela. |
|
¿Qué ocurre cuando el usuario limita la fuente? |
El sistema respeta ese ámbito o declara que necesita ampliarlo; no completa silenciosamente desde otra parte del corpus. |
|
¿Qué obliga a repetir la evaluación? |
Cambios de corpus, embeddings, modelo, prompt, reranker, reglas de profundidad o cualquier pieza que pueda alterar la conducta. |
Durante la demostración conviene introducir preguntas que el vendedor no haya elegido. Una directa; su paráfrasis; una con un distractor próximo; otra con premisa falsa; una bien formulada pero sin evidencia suficiente; y una que el sistema haya resuelto bien antes, para comprobar que las nuevas barreras no la destruyen. Después de cada caso debe abrirse la página, no limitarse a admirar la cita.
Si el proveedor no puede mostrar la traza completa porque su arquitectura es propietaria, esa opacidad no convierte automáticamente el sistema en malo. Sí limita qué puede auditarse y, por tanto, qué autoridad puede concederse. No evaluable no es sinónimo de incorrecto; significa que la organización carece de base suficiente para afirmarlo.