Cómo evaluar un agente de programación durante una tarea de largo horizonte

Selecciona una tarea con respuesta verificable. Elige una incidencia representativa con criterios de aceptación y una referencia humana. El punto de partida es una prueba controlada de agente sobre mantenimiento, migración o reparación de software. La lectura conserva fecha, alcance y responsable; una novedad técnica no demuestra adecuación para cada organización. Este paso fija el alcance de una prueba controlada de agente sobre mantenimiento, migración o reparación de software. Define responsable, entorno y criterio de aceptación. La decisión aprobar su uso solo cuando la sesión completa sea reproducible, segura y económicamente justificable debe demostrarse mediante commit inicial, imagen de entorno, prompt, permisos, llamadas, diffs, pruebas, tiempo, revisión y costo; evita verbos amplios que no indiquen qué se probará, permitirá, bloqueará o remitirá a una persona con autoridad.

Congela código, dependencias y entorno. Crea una rama desechable y fija commit, dependencias, contenedor y conjunto de pruebas. Esta precisión modifica la decisión: aprobar su uso solo cuando la sesión completa sea reproducible, segura y económicamente justificable. El equipo escribe qué espera mejorar, qué dato excluye y quién responde ante una desviación. Incluye casos comunes, extremos y fallidos. Prueba red externa, secretos reales, ramas protegidas, datos de clientes, cambios destructivos y suites incompletas de manera controlada y registra exclusiones. Un resultado positivo no cubre aquello que nunca formó parte de la muestra. La seguridad del método depende tanto de sus límites como de la precisión observada.

Concede herramientas con permiso mínimo. Entrega solo comandos y servicios necesarios, sin credenciales ni acceso de producción. La evidencia mínima incluye commit inicial, imagen de entorno, prompt, permisos, llamadas, diffs, pruebas, tiempo, revisión y costo. Guardar versión y configuración evita comparaciones incompatibles y ayuda a explicar de dónde procede una mejora. Usa permisos mínimos y separa preparación, aprobación y ejecución. El objetivo es un benchmark comparable que revele calidad, deriva, costo y capacidad de recuperación. Una sola identidad o credencial no debe acumular acciones con consecuencias distintas solo por comodidad. Diseña confirmación, readback y reversión antes de exponer el piloto a usuarios reales.

Captura trayectoria y puntos de decisión. Registra cada llamada, diff, prueba y motivo de intervención humana durante la sesión. Los límites relevantes son red externa, secretos reales, ramas protegidas, datos de clientes, cambios destructivos y suites incompletas. Deben aparecer en diseño, contrato y seguimiento; lo que queda fuera se registra como pendiente. Conecta cada métrica con una decisión. Para una prueba controlada de agente sobre mantenimiento, migración o reparación de software, conserva commit inicial, imagen de entorno, prompt, permisos, llamadas, diffs, pruebas, tiempo, revisión y costo. Añade una señal de daño, un umbral máximo y una persona que pueda detener el ensayo. Mejorar tiempo o volumen no compensa automáticamente exposición, inequidad, errores o pérdida de trazabilidad.

Fuerza fallos y prueba recuperación. Interrumpe red, rompe una herramienta y devuelve resultados ambiguos para observar recuperación. Una prueba útil combina caso normal, excepción y recuperación. El responsable verifica la salida y relee el destino antes de aceptar una acción. Ensaya timeout, respuesta ambigua, cambio de datos y revocación. Antes de repetir, relee el destino y evita duplicados. Comprueba red externa, secretos reales, ramas protegidas, datos de clientes, cambios destructivos y suites incompletas. Otra persona debe poder reconstruir la secuencia usando registros sin depender de la memoria de quien ejecutó la prueba.

Cierra con go, revise o stop. Compara calidad, tiempo total, revisión y costo antes de decidir el siguiente alcance. El resultado buscado es un benchmark comparable que revele calidad, deriva, costo y capacidad de recuperación. Goatify une diagnóstico, piloto y decisión con trazas para avanzar, corregir o detenerse. Cierra con go, revise o stop y documenta la razón. un benchmark comparable que revele calidad, deriva, costo y capacidad de recuperación existe solo si el estado real coincide con el solicitado y el equipo conoce pendientes, propietario y fecha de revisión. La guía se convierte así en un control que puede repetirse cuando cambian las condiciones.