claudio.cool
CCAR-FLecciones

CCAR-F · Gestión de contexto

Procedencia de la información y fuentes que se contradicen

⏱ 3 min de lecturaBorrador

El sistema de investigación entrega un informe prolijo con cifras citadas. Alguien revisa una cita y la fuente no dice eso. Otra cifra aparece atribuida a un informe que nunca la publicó. En algún paso, el dato se separó de su origen.

Dónde se pierde la fuente

Cada vez que un subagente resume en prosa, comprime los hallazgos y la atribución se cae: “el mercado creció 12%” sobrevive, “según el informe X, página 4, con datos de 2023” no. Después, la síntesis cita sitios enteros o la fuente equivocada.

La procedencia (provenance) se conserva con mapas afirmación-fuente (claim-source mappings): los subagentes no devuelven prosa, devuelven registros estructurados con

  • la afirmación;
  • la URL o el nombre del documento;
  • el fragmento exacto que la respalda;
  • la fecha de publicación o de recolección de los datos.

La síntesis tiene que preservar esos vínculos y combinarlos, no reescribirlos. Una afirmación que llega sin fuente no entra al informe como hecho: se deja afuera o se marca como no verificada hasta encontrar su origen.

Cuando dos fuentes no coinciden

Dos fuentes creíbles dan cifras distintas para lo mismo. Lo que no se hace es elegir una al azar ni promediar: las dos cosas inventan o esconden información. Se hace una anotación de conflictos (conflict annotation): las dos cifras, cada una con su fuente y su fecha, y el conflicto marcado.

¿Quién lo resuelve? El subagente de análisis termina su trabajo con los dos valores incluidos y anotados, y deja que el coordinador decida cómo reconciliarlos antes de la síntesis. Si el subagente elige uno en silencio, el coordinador, que quizás tenía el contexto para ver que las fuentes usaban definiciones distintas, nunca se entera.

Un matiz: si comparan el mismo período con la misma definición y una es oficial y la otra un blog, prevalece la oficial y la otra se muestra como no verificada.

Diferencias en el tiempo

Una encuesta dice 34% y otra 51%. La síntesis lo llama contradicción, pero una es de 2021 y la otra de 2024: es una tendencia. Exigir la fecha de publicación y de recolección de datos (data collection date) en la salida de los subagentes evita confundir una diferencia temporal con un conflicto.

La síntesis tampoco puede cambiar el marco temporal ni la certeza de lo que dice la fuente. Si un analista escribió en 2023 que “espera” algo, el informe no puede presentarlo como un pronóstico para el año que viene.

Cómo se arma el informe

  • Lo establecido separado de lo discutido. Secciones explícitas para los hallazgos con amplio respaldo y para los hallazgos discutidos (contested findings), conservando cómo los caracteriza la fuente original y su contexto metodológico (“preliminar”, “piloto con 40 pacientes”). Si no, un piloto chico aparece con la misma seguridad que un resultado consolidado.
  • Cada contenido en su formato. En una síntesis multifuente (multi-source synthesis), los datos financieros van en tablas, las noticias en prosa y los hallazgos técnicos en listas estructuradas. Pasar todo a una única lista de viñetas hace el informe más difícil de usar.

Las trampas típicas

  • Subagentes que devuelven resúmenes en prosa sin fuentes.
  • Elegir o promediar una cifra entre fuentes que se contradicen.
  • Llamar contradicción a datos de años distintos.
  • Reescribir lo que dice la fuente con más certeza o con otro horizonte temporal.
  • Un formato único para todo el informe.

En el examen

Si el informe cita mal, la respuesta es que los subagentes devuelvan afirmación, fuente, fragmento y fecha. Si hay cifras distintas, mostrar las dos con su fuente y que decida el coordinador. Si las cifras son de años distintos, exigir fechas. Si el problema es de presentación, separar lo establecido de lo discutido o usar el formato de cada tipo de contenido.

Pregunta rápida

Una pregunta del simulacro sobre este dominio. Cuenta para tu progreso.

A fintech team uses an agent to help engineers understand a payments codebase. In the morning the agent explored several modules, and the code has changed since then: two pull requests that moved the retry handling into a new package were merged at lunchtime.

In the afternoon an engineer asks: 'Where is the payment retry logic?' The agent answers confidently from what it remembers of the morning's exploration. It cites no file path, and some of its claims turn out to be outdated: the class it describes has been renamed and one function no longer exists.

The agent still has its file-reading and search tools available; it simply did not use them for this answer.

The team runs the agent at the default temperature, and the engineer asking is new to the team.

What is the best fix?

Practicá este dominio en el simulacro →