La novedad de una pieza no es una métrica
La comparación posterior entre MiniLM y Qwen3-Reranker-0.6B ofrece un ejemplo especialmente limpio. No cambiamos la recuperación ni los candidatos: ambos modelos reordenaron exactamente las mismas páginas de las 394 formulaciones del banco de desarrollo. Qwen movió resultados, rescató algunos casos y destruyó otros; en K50 llegó incluso a ganar algún acierto aislado dentro de K12. Pero al volver a P1, que era la arquitectura que realmente íbamos a utilizar, la cobertura Page@12 quedó exactamente igual con ambos rerankers: 192/197 en A y 184/197 en B.
El saldo caso por caso fue igualmente revelador: dos rescates y dos pérdidas en A, y dos rescates y dos pérdidas en B. Qwen necesitó, además, 5,65 veces más tiempo de inferencia. Mantener MiniLM no fue, por tanto, una defensa de una pieza antigua ni una afirmación de superioridad universal. Fue una decisión de arquitectura: la alternativa ensayada no compraba una mejora material en la salida que habíamos decidido utilizar.
El canal léxico ofreció después la misma lección por otra vía. Probamos a especializar BM25 al castellano mediante eliminación de stopwords y stemming ligero. Las variantes alteraron rankings, pero no produjeron una mejora material y consistente frente a B0; en Page@12, las tres quedaron por debajo de B0 en las formulaciones B del banco de desarrollo. Se mantuvo por ello el tratamiento léxico más sencillo y no específico de una sola lengua. La posibilidad de incorporar después documentación en otros idiomas quedó como una ventaja adicional de portabilidad: primero medimos cuánto perdíamos por no especializar y vimos que, en este banco, la especialización no compensaba.
Eso cambia también la compra de modelos. El número de parámetros, la longitud de contexto o la cantidad de agentes son descripciones de capacidad, no demostraciones de mejora. Una pieza nueva debe contestar tres preguntas: qué fallo concreto intenta corregir, cuántos casos rescata frente a la versión anterior y cuántos aciertos destruye. Después viene el coste.
No se compra la pieza más nueva. Se compra la mejora que esa pieza demuestra dentro del sistema.