También intentamos generar el banco en local
También quisimos comprobar si un modelo local podía aliviar esa preparación sin sacar los textos del ordenador. Probamos gpt-oss:20b y después Qwen3:32B, un modelo generativo distinto del embedding y del reranker utilizados en la recuperación. No fue un único intento fallido: ensayamos varios cambios de prompt y de estrategia, buscando que las preguntas nacieran de la evidencia y que B no fuera una copia apenas retocada de A.
Fuimos separando las tareas: seleccionar un hecho, proponer la respuesta y las líneas que lo demostraban, comprobar la premisa y redactar las dos formulaciones. Python conservaba las referencias y extraía literalmente las citas. También medíamos el vocabulario compartido entre A y B y permitíamos una segunda B cuando se parecían demasiado. Esa separación hacía el proceso más visible, pero no lo convertía en infalible.
En la búsqueda de los pasajes y en la validación también hubo participación humana. En ese trabajo, Codex fue más sistemático que nuestra propia revisión: recorría la misma lista de comprobaciones y señalaba detalles que nosotros habíamos dado por buenos. La tarea estaba acotada: comprobar si A y B preguntaban lo mismo, si la respuesta contestaba y si la cita la sostenía. No se trataba de opinar sobre el tema, sino de contrastar cada ficha con sus referencias y aplicar los mismos criterios. Esa disciplina resultó útil para revisar el examen.
Los fallos no eran solo de estilo. En una pareja se atribuía a ETA un cálculo realizado por el autor de un estudio; en otra, la fecha de una comunicación pasaba a ser la del secuestro. Había preguntas que necesitaban un contexto no identificado y citas que dejaban fuera la frase decisiva. La comprobación previa del propio modelo no había impedido esos errores, y cambiar las palabras de B no los corregía.
Nuestra impresión fue que buena parte de la dificultad estaba en comprender el contexto de la página. Para preparar una buena pregunta no basta con encontrar un nombre o una fecha: hay que entender quién hizo qué, de qué episodio se habla y qué está afirmando realmente el autor. Después hay que formularla de manera que se entienda sin tener la página delante.
El 32B no resolvió esa tarea con suficiente fiabilidad en nuestras pruebas. No hablamos simplemente de cuánto texto cabía en el modelo, sino de si mantenía los sujetos, las fechas y las relaciones al convertirlo en preguntas. Es nuestra interpretación de los errores observados, no una causa demostrada.
Pero el problema práctico seguía ahí. Para arreglar una ficha había que volver al libro, entender qué había querido preguntar el modelo, localizar el fallo, corregir la pregunta o la respuesta y comprobar otra vez la cita. No era simplemente retocar una frase.