claudio.cool
CCDV-PLecciones

CCDV-P · Operación de flotas de agentes para entrega de software

Cuando se genera más rápido de lo que se revisa, revisión con IA en modo sombra

⏱ 3 min de lecturaBorrador

Desde que el equipo usa agentes de código, el número de pull requests se triplicó pero el de personas que los revisan no. Las revisiones se vuelven superficiales (“parece bien”), se acumulan PRs sin mirar y alguien propone activar una revisión automática con IA que bloquee todo lo que no apruebe. El cuello de botella ahora es la verificación, y la solución tiene que ser tan cuidadosa como el problema.

Por qué se rompe la revisión

Cuando la generación supera a la revisión, el riesgo no es que el código sea peor: es que nadie lo mira de verdad. Las revisiones humanas se vuelven un trámite y los defectos pasan. Las respuestas buenas no son “revisar más rápido” sino reorganizar la verificación en capas, y dejar a las personas lo que solo ellas pueden hacer.

Capas de verificación

  1. Verificación automática determinista: compilación, tipos, linters, pruebas, escaneo de seguridad y de dependencias. Es la primera línea y la más barata; un cambio que no pasa esto no llega a ninguna revisión.
  2. Pruebas que el agente escribe y ejecuta como parte de la tarea, con el criterio de terminado verificable.
  3. Revisión con IA (AI code review): un modelo lee el cambio y señala problemas (errores lógicos, casos borde, seguridad, consistencia con las convenciones).
  4. Revisión humana enfocada en lo que importa: diseño, riesgo, intención, lo que la IA marcó, y los cambios sensibles.

Introducir la revisión con IA: sombra, calibración, compuerta

Darle a un revisor nuevo, humano o IA, poder de bloqueo sin medirlo es arriesgado: puede dejar pasar defectos (falsos negativos) o frenar trabajo bueno (falsos positivos) y la gente deja de confiar. El camino seguro:

  1. Modo sombra (shadow mode): la revisión con IA corre sobre los PRs reales y deja sus comentarios, pero no decide ni bloquea. Se guardan sus hallazgos para compararlos.
  2. Calibración contra la revisión humana (calibration against human review): se compara lo que la IA marcó con lo que encontraron las personas y con los defectos que aparecieron después en producción. Se miden la proporción de hallazgos útiles (precisión), los defectos reales que detecta (cobertura) y el ruido que genera. Se ajustan las instrucciones, el alcance y los umbrales.
  3. Compuerta de merge (merge gate): solo cuando la calibración mostró un desempeño aceptable, se le da peso: por ejemplo, bloquea ante hallazgos de alta severidad en categorías donde probó ser confiable, y el resto queda como sugerencia. Se sigue midiendo, con muestreo humano sobre lo aprobado, para detectar deriva.

Es el mismo patrón que para un juez de evaluación: no tiene autoridad hasta que se midió.

Diseño de la supervisión humana

La supervisión humana (human oversight) se diseña, no se supone: qué cambios requieren siempre una persona (seguridad, autenticación, migraciones, dinero, configuración de infraestructura), qué ve la persona (el resumen del cambio, lo marcado por la IA, el resultado de las pruebas y el alcance del agente), quién es responsable de aprobar y cómo se evita la aprobación mecánica (rotación, muestreo de revisión profunda, métricas de tiempo de revisión). El agente que escribió el código y el que lo revisa deberían ser independientes (otra instancia, otro contexto, idealmente otras instrucciones), no el mismo que se corrige a sí mismo en la misma conversación.

Las trampas típicas

  • Activar la revisión con IA con poder de bloqueo desde el primer día.
  • Medir la revisión con IA por cantidad de comentarios en lugar de su utilidad.
  • Reemplazar la revisión humana por la de IA en cambios sensibles.
  • Que el mismo agente genere y apruebe en la misma conversación.
  • Aprobaciones humanas masivas sin mirar, y sin métricas que lo detecten.

En el examen

Para introducir una revisión con IA, la respuesta correcta empieza en modo sombra, sigue con calibración contra la revisión humana y solo entonces la usa para bloquear. Si el problema es la fatiga de revisión, reforzar la verificación automática y reservar a las personas lo sensible.

Pregunta rápida

Una pregunta del simulacro sobre este dominio. Cuenta para tu progreso.

In a large company, teams share Claude Code prompts, Skills, and MCP servers through chat messages and personal gists. Last quarter, a Skill that was copied from a colleague's gist contained a command that uploaded repository contents to an external service, and another widely shared prompt silently produced incorrect SQL for a reporting team. Nobody could say who owned either artifact or which version was in use.

The platform group wants to encourage reuse across teams while setting a quality and safety bar.

Which governance model is most appropriate?

Practicá este dominio en el simulacro →