Cómo evaluar investigación autónoma con IA usando verificadores independientes

1. Define el objetivo. Define primero qué resultado sería verificable. En matemáticas puede ser una prueba que compile; en software, tests; en análisis de datos, queries reproducibles; en investigación documental, fuentes y afirmaciones trazables. La utilidad de esta idea aparece cuando se traduce a una decisión concreta de arquitectura, producto o operación y deja de ser una descripción abstracta de capacidades. Para equipos pequeños, la claridad del contrato también reduce dependencia de conocimiento informal y facilita que otra persona pueda revisar o continuar el trabajo.

2. Diseña la arquitectura. Separa exploración de commit. El agente puede generar hipótesis, buscar rutas y rehacer partes libremente dentro de un workspace. Solo los artefactos que superan verificadores objetivos o revisión experta pasan a la capa de resultados aceptados. Para equipos pequeños, la claridad del contrato también reduce dependencia de conocimiento informal y facilita que otra persona pueda revisar o continuar el trabajo. El diseño debería conservar evidencia suficiente para reconstruir qué información entró, qué regla se aplicó y qué estado quedó después de la acción.

3. Separa los estados. Diseña checkpoints para proyectos largos. Un run de varios días no debería depender de memoria conversacional efímera. Guarda estado, decisiones, artefactos y tests para que otra ejecución pueda continuar y para que un humano pueda revisar el progreso. El diseño debería conservar evidencia suficiente para reconstruir qué información entró, qué regla se aplicó y qué estado quedó después de la acción. Cuando esa evidencia existe, los fallos pueden convertirse en pruebas de regresión y no solamente en anécdotas que vuelven a repetirse meses después.

4. Protege la frontera. No confundas “verificado” con “verdadero en todo sentido”. Un test solo demuestra la propiedad que fue diseñada para comprobar. Una suite incompleta puede permitir errores fuera de su alcance. Documenta explícitamente qué cubre y qué no cubre la verificación. Cuando esa evidencia existe, los fallos pueden convertirse en pruebas de regresión y no solamente en anécdotas que vuelven a repetirse meses después. La adopción sostenible suele depender menos del espectáculo de la primera demo y más de que el comportamiento correcto se repita bajo condiciones reales.

5. Prueba con evidencia. Construye un pequeño benchmark con casos exitosos, fallos conocidos y entradas ambiguas. Evalúa cuánto trabajo autónomo llega a aceptación sin intervención, dónde se atasca y qué tipos de error escapan al verificador. La adopción sostenible suele depender menos del espectáculo de la primera demo y más de que el comportamiento correcto se repita bajo condiciones reales. Por eso conviene separar lo que el modelo puede sugerir de lo que la organización está dispuesta a aceptar como estado válido o acción autorizada.

6. Mide y ajusta. Mide tasa de artefactos aceptados, iteraciones hasta pasar, tiempo humano de revisión, cobertura del verificador y regresiones después de cambios de modelo. Esa serie permite comparar autonomía por resultados, no por impresiones. Por eso conviene separar lo que el modelo puede sugerir de lo que la organización está dispuesta a aceptar como estado válido o acción autorizada. Una buena implementación vuelve explícitas las fronteras que antes estaban escondidas en prompts, hábitos humanos o supuestos del equipo. La utilidad de esta idea aparece cuando se traduce a una decisión concreta de arquitectura, producto o operación y deja de ser una descripción abstracta de capacidades.

7. Cierra el ciclo. Para Goatify, este patrón puede convertirse en QA común para habilidades complejas. El agente gana libertad para trabajar, pero el sistema conserva una definición independiente de “terminado”. Esa definición es lo que permite automatizar sin confundir movimiento con progreso. Una buena implementación vuelve explícitas las fronteras que antes estaban escondidas en prompts, hábitos humanos o supuestos del equipo. La utilidad de esta idea aparece cuando se traduce a una decisión concreta de arquitectura, producto o operación y deja de ser una descripción abstracta de capacidades.