Primer examen: una criba común con ayuda de un modelo frontera
En nuestro laboratorio recurrimos a Claude, un modelo frontera, para construir las preguntas de forma sistemática sobre los libros del corpus. Necesitábamos una pauta común y una referencia documental para cada caso. Ese banco ofrece un ejemplo del primer examen que una organización puede preparar para comparar productos, antes de comprometer el trabajo más costoso de sus analistas.
Para esta criba pueden utilizarse libros de acceso abierto, manuales públicos, información genérica del sector u otros documentos cuyo procesamiento externo esté autorizado. Conviene que se parezcan al trabajo previsto en tema, vocabulario y tipo de texto. El modelo ayuda a redactar preguntas, respuestas de referencia y parejas A/B; las propuestas se comprueban contra sus fuentes antes de cerrar el banco.
Prepararlo también cuesta, pero el esfuerzo se aprovecha para examinar varios productos. Todos reciben la misma colección y se enfrentan a las mismas preguntas, con las mismas reglas. Las respuestas de referencia y las citas de corrección quedan fuera del material indexado: el sistema debe encontrar el respaldo en los documentos, no en la solución del examen.
Antes de probar se fija qué resultados mínimos se exigen. El producto que no los alcance queda fuera de la siguiente fase; el que los alcance justifica una evaluación más costosa. No tiene sentido pagar horas de especialistas para seguir examinando una herramienta que no ha superado esa primera criba.
Aprobar con libros públicos no equivale a aprobar sobre los expedientes de una organización. Significa algo más sencillo: la herramienta ha mostrado suficiente capacidad para que merezca la pena comprobarla con el trabajo real. Acertar por conocimiento general tampoco basta: debe señalar el respaldo en la colección entregada.