Cuando la salida falla, primero revisá el prompt

Los resúmenes semanales de ventas salen tan largos que los gerentes regionales dejaron de leerlos. La primera reacción del equipo: “pasemos al modelo más capaz, que sabrá qué largo conviene”. El prompt nunca dijo qué largo ni qué estructura esperaban los gerentes.

El diagnóstico (troubleshooting) de una mala salida empieza casi siempre por el pedido, no por el modelo.

Primero, leé el prompt como si fueras Claude

Ante una salida floja, revisá:

• ¿Dice para quién es y para qué? Si no, la salida va a ser genérica.
• ¿Dice cómo tiene que salir? “Cinco viñetas que arranquen por resultado contra objetivo y riesgos” corrige el largo; “sé conciso” casi no cambia nada.
• ¿Dice qué hacer cuando falta información? Si no, Claude rellena.
• ¿Hay reglas que se contradicen?

El prompt que “andaba y dejó de andar”

Un prompt para clasificar la urgencia de mails de proveedores funcionó bien durante meses. Ahora etiqueta casos parecidos de forma distinta. Lo tentador es pensar que cambió el modelo. Lo más probable es otra cosa: el prompt fue creciendo con agregados (“siempre urgente si menciona una factura”, meses después “urgente solo si vence en menos de 7 días”) y ahora tiene reglas contradictorias (conflicting instructions). Ante un caso que cumple una y no la otra, cualquier respuesta es “correcta”.

Antes de culpar al modelo:

1. Leé el prompt entero y buscá reglas que choquen o se superpongan.
2. Resolvé cada conflicto con una sola regla clara (y el motivo).
3. Probá la versión nueva sobre un grupo fijo de mails ya conocidos.

Un cambio por vez

Una asistente cambió dos cosas a la vez en su prompt de minutas: el formato y la instrucción sobre plazos. Algunas minutas mejoraron y otras empezaron a omitir fechas límite. No tiene forma de saber cuál de los dos cambios causó qué.

La regla es un cambio por vez (one change at a time), probado sobre los mismos casos de prueba (test cases):

• armá un grupo fijo de ejemplos reales, incluidos los difíciles;
• cambiá una sola cosa;
• compará contra la versión anterior con esos mismos ejemplos;
• conservá lo que mejora y descartá lo que empeora.

Situación	Qué hacer
Salida demasiado larga o genérica	Especificar largo, estructura y público
Prompt viejo que se volvió inconsistente	Buscar y resolver reglas contradictorias, probar con casos fijos
Cambio que mejoró unas cosas y empeoró otras	Separar los cambios y probar cada uno por su cuenta
Quejas de quienes usan la salida	Pedir ejemplos concretos y convertirlos en requisitos del prompt

Escuchá a quien usa la salida

La retroalimentación (feedback) más útil viene de quien recibe el resultado, no de quien escribe el prompt. Si el equipo de e-commerce rechaza las descripciones de producto, pedile ejemplos de las que aceptó y de las que rechazó, y convertí eso en instrucciones concretas.

Las trampas típicas

• Cambiar al modelo más grande sin tocar el prompt.
• Agregar “sé conciso” o una regla en mayúsculas.
• Reescribir todo de cero un fin de semana y usarlo directo en todos los casos.
• Cambiar el prompt, el modelo y la plantilla a la vez.
• Preguntarle a Claude cuál de los cambios causó el problema.
• Agregar más ejemplos sin resolver las reglas que se contradicen.

En el examen

Si el escenario describe una salida mala o un prompt que se volvió inconsistente, buscá la opción que ataca la causa en el prompt (criterio concreto, contradicciones resueltas) y que prueba sobre un conjunto fijo de casos. Si mezclaron cambios, la respuesta es separarlos y probar cada uno. Descartá “cambiar de modelo”, “más énfasis”, “todo de cero de golpe” y “que Claude se diagnostique solo”.