III. Un porcentaje sin apellido no sirve
El recorrido del libro ofrece varios ejemplos de por qué una sola cifra puede engañar aunque sea matemáticamente correcta. Cada porcentaje necesita un apellido: qué mide, sobre qué casos, con qué denominador y qué parte del sistema estaba ya fijada cuando se obtuvo.
Tabla 7.2. Cinco resultados del libro que no significan lo mismo
|
Resultado |
Lectura correcta |
|---|---|
|
P1 en el banco nuevo: Page@12 = 490/500 en A y 450/500 en B |
Mide si la página de referencia queda dentro de la primera ventana de doce después del reranking. No dice que la respuesta final sea correcta. |
|
Banco nuevo, balance final: 931/1.000 respuestas satisfactorias o aceptadas; 26/1.000 abstenciones apropiadas o prudentes |
Resultado operativo combinado de IA y decisiones humanas. No mide por sí mismo suficiencia de todas las citas: el control documental por IA confirmó 862/1.000 con respuesta y prueba completas. |
|
Banco de 197 parejas: 374/394 núcleos satisfactorios, pero 353/394 con prueba completa |
Distingue contestar bien de señalar evidencia suficiente. El modelo respondía mejor de lo que probaba. |
|
Control de premisa: 8 de 10 aceptaciones problemáticas dejaron de serlo; 50/50 controles positivos conservaron su núcleo |
Muestra una mejora concreta del contrato en ese lote. No demuestra que el modelo sea inmune a premisas falsas ni que nunca destruya una respuesta correcta. |
|
Sin la página de referencia: 29/50 respuestas nucleares correctas |
La prueba de retirada no auditó de forma sistemática el soporte alternativo de esos aciertos. En el examen nuevo, la IA sí comprobó respuestas y pasajes suficientes en páginas distintas de la gold. |
En la tabla conviven cinco capas distintas: recuperación independiente, prueba completa del pipeline sobre el banco nuevo, generación de desarrollo en el banco de 197 parejas, resistencia frente a una premisa falsa y redundancia documental. Sumarlas, compararlas como si fueran la misma cosa o convertir cualquiera de ellas en «precisión del sistema» borraría precisamente lo que necesitamos saber.
Incluso dentro de una misma capa hay que mirar el denominador. En el nuevo banco, P1 quedó muy cerca de K50 en Page@12, pero no era equivalente: perdió un caso neto en A y cinco en B. El precio fue que utilizó 78.366 ventanas de MiniLM frente a 130.714 de K50, alrededor del sesenta por ciento del trabajo. La decisión no es «qué porcentaje es mayor», sino cuánto compra cada coste y si esa diferencia importa para el uso previsto.
La misma cautela vale para el cierre de premisas falsas. Tras la revisión humana, 31 correcciones o rechazos, 13 abstenciones y 3 casos matizados sumaban 47 salidas operativamente aceptables sobre 50 trampas. Presentarlo como un 94 % de exactitud documental sería falso: son categorías distintas y dos de los rescates adicionales dependieron de una valoración humana posterior. El número correcto sin la definición correcta también puede engañar.