Consultar 10,000 documentos internos sin enviar un byte a OpenAI
Cómo se ve un asistente documental con respuestas trazables a su fuente — y por qué la trazabilidad importa más que el modelo.
El problema no es responder, es responder con fuente
Un asistente que "suena seguro" pero inventa es peor que no tener asistente. El valor real de un sistema documental está en que cada respuesta apunta al documento exacto del que salió: el usuario puede verificar, y el equipo de cumplimiento puede auditar. Sin trazabilidad, no es una herramienta de negocio, es un riesgo.
El pipeline, sin que nada salga
Los documentos se segmentan, se convierten en vectores con un modelo de embeddings local y se indexan en pgvector o Chroma dentro de tu infraestructura. En cada pregunta se recuperan los fragmentos relevantes y un LLM privado redacta la respuesta citando su origen. Ningún documento ni consulta toca una API externa.
La arquitectura se elige por el caso, no por la moda
A escala personal o de equipo, leer nodos curados completos dentro del contexto del modelo supera al troceado vectorial: es determinista y trazable. A escala de millones de documentos, el vector o el híbrido (vector + palabra clave) siguen siendo necesarios. La experiencia está en elegir — no en forzar una sola técnica.