VII. Cuando la veracidad no es negociable
Hay una última pieza del cuadro, y es de seguridad. Cuando un sistema se presta como servicio externo, el documento, la pregunta o parte de su contenido pueden abandonar el perímetro de la organización para ser procesados por infraestructura de terceros. Qué se conserva, durante cuánto tiempo y si puede utilizarse para mejorar productos depende del proveedor, del servicio contratado y de sus condiciones; no debe presumirse ni una cosa ni la contraria. En los ámbitos donde el conocimiento es clasificado, reservado o sencillamente no debe salir —el expediente, el historial, el sumario, el archivo— basta con que el procesamiento externo sea incompatible con la política de seguridad para que la solución deje de servir. De esa tensión nace una necesidad real: sistemas capaces de trabajar sobre conocimiento propio dentro de un perímetro controlado, conservar las fuentes y responder solo hasta donde estas permitan.
Conviene llamar a una parte de este problema por su nombre: también es ciberseguridad. Proteger la confidencialidad de los datos y la integridad de los sistemas no agota el riesgo cuando una herramienta interviene en una decisión documental. También importa la integridad de la relación entre lo que el sistema afirma y la evidencia que presenta. Una respuesta con una cita que no sostiene lo dicho no es solo una imprecisión: es un fallo de integridad, aunque no haya existido un atacante. El mecanismo puede producir por sí mismo una separación entre afirmación y evidencia que una organización sensible debe ser capaz de detectar y auditar.
Si envenenar los datos de una organización es un ataque de manual, un sistema que envenena sus propias respuestas con fuentes sustituidas es la misma amenaza por vía interna — y debería auditarse con la misma seriedad. Mientras esa doctrina no exista, el hueco lo está rellenando el departamento comercial, encapsulados que se ofrecen a cuerpos policiales, servicios de inteligencia y empresas con documentación reservada bajo la promesa de «su IA privada y segura», con porcentajes de folleto que nadie ha verificado como la ciberseguridad manda verificar con banco de pruebas propio, con preguntas trampa, con auditoría de fuentes, con test de penetración cognitivo.
Este libro está escrito, en buena parte, para quien tiene que tomar esa decisión, el responsable al que le acaban de enseñar una demo brillante y debe decidir si mete el archivo de su casa dentro. No es un alegato contra esas herramientas es lo que un perito pondría encima de la mesa antes de la firma, lo que hay debajo del envoltorio, lo que cuesta de verdad que funcione, las preguntas que hay que hacer y los números que hay que exigir. De eso trata lo que sigue.