CCDV-P · Integración en producción, confiabilidad y conocimiento de base
Recuperación y grounding, diagnosticar por etapa y no inventar
Un asistente interno responde preguntas sobre políticas de la empresa. Los usuarios se quejan de dos cosas: a veces cita una política derogada, y a veces afirma con seguridad algo que no figura en ningún documento. El equipo propone cambiar el modelo por uno más grande. Antes, conviene saber en qué etapa falla.
Agentic search o RAG
En RAG (retrieval-augmented generation) la aplicación recupera fragmentos antes de llamar al modelo y se los inyecta en el contexto: una consulta, un orden fijo, latencia y costo previsibles. En la búsqueda agéntica el modelo decide qué buscar, con qué herramienta y cuántas veces, y puede reformular si no encontró. La elección es un trade-off:
| RAG clásico | Búsqueda agéntica | |
|---|---|---|
| Latencia y costo | bajos y predecibles | más altos y variables |
| Preguntas de varios saltos o ambiguas | flojo | fuerte: reformula y encadena |
| Control y auditoría | fácil de acotar | más difícil de predecir |
| Cuándo | consultas simples sobre un corpus conocido | preguntas exploratorias, fuentes heterogéneas |
Muchos sistemas combinan ambos: recuperación directa para lo simple y agente para lo complejo.
Las etapas de un pipeline de recuperación
Una respuesta mala puede originarse en cualquier etapa, y el arreglo es distinto en cada una:
- Ingesta y chunking: partir los documentos en fragmentos. Fragmentos demasiado chicos pierden contexto; demasiado grandes diluyen la señal. Conservar metadatos (fuente, fecha, versión, permisos).
- Embeddings e índice: representan significado; el modelo de embeddings tiene que servir para tu dominio e idioma.
- Recuperación: búsqueda vectorial para similitud semántica; búsqueda léxica (palabras exactas, códigos, nombres) para lo literal. La búsqueda híbrida (hybrid search) combina ambas.
- Reranking: un segundo paso reordena los candidatos con un modelo más fino y se queda con los mejores.
- Generación: el modelo responde con lo recuperado.
Para diagnosticar por etapa, mirás: ¿el fragmento correcto existía en el índice? (ingesta) ¿estaba entre los candidatos? (recuperación) ¿llegó arriba? (reranking) ¿el modelo lo usó bien? (generación). Medir la precisión y la cobertura de recuperación por separado de la calidad final evita culpar al modelo por un problema de índice. En el caso del asistente: una política derogada que sigue indexada es un problema de ingesta y de metadatos de vigencia, no de modelo.
Grounding: respuestas que se pueden verificar
Una respuesta con fundamento (grounded response) se apoya en las fuentes recuperadas. Las prácticas:
- Cita de fuentes (source citation): la respuesta señala de qué fragmento sale cada afirmación (la API ofrece una función de citas; si armás la tuya, devolvé identificadores de fuente que luego puedas verificar).
- Declaración de incertidumbre: instruir y evaluar que, si lo recuperado no responde la pregunta, el modelo lo diga en lugar de completar con conocimiento general.
- Señales de confianza verificables: coincidencia entre la afirmación y el fragmento citado, puntaje de recuperación, acuerdo entre fuentes. La confianza que el modelo dice tener no es una señal calibrada por sí sola.
- Vigencia: filtrar por fecha o versión y retirar del índice lo derogado.
Las trampas típicas
- Cambiar de modelo antes de saber en qué etapa falla.
- Un solo tipo de búsqueda para consultas que piden exactitud (códigos, nombres) y significado a la vez.
- Fragmentos sin metadatos de fecha ni fuente.
- Pedir “no inventes” en el prompt sin medir si lo cumple.
- Evaluar solo la respuesta final y no la recuperación.
En el examen
Ante una falla de respuestas con fundamento, buscá la opción que aísla la etapa con una métrica por etapa. Para consultas con términos exactos y semántica, búsqueda híbrida con reranking. Si falta información, la respuesta correcta del sistema es declararlo, con cita cuando hay.
Pregunta rápida
Una pregunta del simulacro sobre este dominio. Cuenta para tu progreso.
A platform team operates a remote MCP server, reached over HTTP with OAuth, that twelve internal agents use. To clean up the API, the team renamed the parameter customer_id to account_id in the lookup_customer tool and made it required. They updated the tool description and deployed on a Friday afternoon. By Monday three agents were returning wrong or empty answers: some still sent customer_id and received validation errors that the agents' prompts told them to treat as "not found".
The server is owned by one team, but the agents belong to different teams with different release schedules.
What should the platform team do to make such changes safe in the future?