V. Hay que seguir la evidencia por capas
Decir «el RAG falló» sirve de poco para corregir un sistema. La página puede haberse perdido durante la recuperación, durante el reordenado, al reducir a K12, durante la lectura del modelo o al señalar las líneas de evidencia. Cada pérdida exige una intervención distinta.
Tabla 7.4. El lugar donde aparece el fallo determina qué conviene tocar
|
Observación |
Diagnóstico principal |
|---|---|
|
La página no aparece en K20/K50 |
Recuperación: representación de la consulta, canal léxico o semántico, fusión o profundidad inicial. Un generador posterior no puede usar lo que no recibió. |
|
La página estaba disponible pero queda fuera de K12 después de reordenar |
Ranking o profundidad del reranker. Conviene medir rescates, pérdidas y coste antes de ampliar siempre. |
|
La página está en K12 y la respuesta es incorrecta |
Lectura o selección semántica dentro del contexto; aumentar K puede añadir ruido sin resolver la relación. |
|
La respuesta nuclear es correcta, pero el pasaje señalado no la prueba completa |
Localización de evidencia. Una coordenada válida no convierte el fragmento en prueba. |
|
La pregunta contiene una premisa falsa y el modelo contesta dentro de ella |
Contrato de interpretación de la pregunta. Hay que examinar la premisa antes de buscar una respuesta que la dé por supuesta. |
|
El núcleo es correcto, pero aparecen datos laterales no respaldados |
Generación y sobre-respuesta. El problema no está en el embedding ni en el ranking. |
Esta separación convierte las métricas en herramientas de ingeniería. Pero hay una cautela: si falta la página gold, eso no prueba que falte toda evidencia válida. Hay que abrir las otras páginas recibidas antes de atribuir el resultado a un fallo de recuperación. Si el soporte suficiente estaba disponible y el 20B confundió una relación, el problema está en la interpretación; si acertó la respuesta pero citó un intervalo demasiado corto, está en la selección del pasaje. Cambiar el buscador no arregla automáticamente ninguno de estos últimos errores.
El examen nuevo mostró además que el modelo podía citar páginas situadas más abajo y utilizar respaldo distinto de la referencia anotada. Esa flexibilidad es valiosa, pero el registro solo enseña qué páginas recibió y cuáles citó: no revela qué partes influyeron internamente en su decisión. Por eso una auditoría necesita distinguir la pérdida de una referencia conocida, la ausencia real de evidencia suficiente y el uso incorrecto de evidencia que sí estaba delante.
Una solución comercial no necesita utilizar nuestras mismas K ni nuestros mismos modelos. Sí necesita ofrecer puntos de observación equivalentes. El comprador debe poder reconstruir qué preguntó, qué material entró en la búsqueda, qué candidatos sobrevivieron, qué vio finalmente el modelo y qué soporte justificó la salida. Una cita al pie sin esa historia puede ser una buena interfaz; no es todavía una traza.