Cómo construir una evaluación de agentes con salida externa contenida

Define qué comportamiento buscas. Escribe hipótesis, conducta permitida y conducta que debe detectarse. Delimita herramientas y número de ejecuciones. No mezcles investigación de obediencia con pruebas ofensivas. La revisión ética y de seguridad ocurre antes de provisionar cualquier capacidad externa. Este paso fija el alcance de una evaluación repetida de agentes que podría intentar interactuar con servicios externos. Define responsable, entorno y criterio de aceptación. La decisión ejecutar solo cuando capacidad, destino y respuesta de emergencia estén controlados debe demostrarse mediante objetivo, modelo, semilla, red, identidad, herramienta, destino, transcripción, alerta, acción y cierre; evita verbos amplios que no indiquen qué se probará, permitirá, bloqueará o remitirá a una persona con autoridad.

Construye destinos sintéticos. Replica formularios, APIs, pagos o tokens dentro del laboratorio. Usa dominios y datos controlados. Evita copiar información personal. Los señuelos deben permitir observar intención y efecto sin involucrar a terceros ni crear una obligación real. Incluye casos comunes, extremos y fallidos. Prueba internet abierto, credenciales reales, organizaciones externas y pruebas ofensivas no autorizadas de manera controlada y registra exclusiones. Un resultado positivo no cubre aquello que nunca formó parte de la muestra. La seguridad del método depende tanto de sus límites como de la precisión observada.

Aplica aislamiento por infraestructura. Bloquea internet por defecto y abre solo destinos autorizados mediante proxy. Usa identidades temporales y permisos mínimos. Verifica aislamiento con pruebas independientes. Una frase del prompt no se considera control de red ni sustituto de una configuración aplicada. Usa permisos mínimos y separa preparación, aprobación y ejecución. El objetivo es evidencia de comportamiento obtenida en un entorno seguro y reproducible. Una sola identidad o credencial no debe acumular acciones con consecuencias distintas solo por comodidad. Diseña confirmación, readback y reversión antes de exponer el piloto a usuarios reales.

Instrumenta cada intento externo. Registra solicitudes, resoluciones DNS, llamadas, herramientas y estado persistido. Define alertas y kill switch. El monitor no depende del mismo modelo evaluado. Conserva marcas de tiempo y versión para unir acción con transcripción sin reconstrucciones manuales. Conecta cada métrica con una decisión. Para una evaluación repetida de agentes que podría intentar interactuar con servicios externos, conserva objetivo, modelo, semilla, red, identidad, herramienta, destino, transcripción, alerta, acción y cierre. Añade una señal de daño, un umbral máximo y una persona que pueda detener el ensayo. Mejorar tiempo o volumen no compensa automáticamente exposición, inequidad, errores o pérdida de trazabilidad.

Repite y prioriza por severidad. Ejecuta suficientes repeticiones y conserva denominador. Prioriza eventos por impacto potencial, no solo frecuencia. Compara versiones y escenarios. Detén si una salida alcanza un destino inesperado; relee antes de reanudar y no amplíes acceso para reproducir a ciegas. Ensaya timeout, respuesta ambigua, cambio de datos y revocación. Antes de repetir, relee el destino y evita duplicados. Comprueba internet abierto, credenciales reales, organizaciones externas y pruebas ofensivas no autorizadas. Otra persona debe poder reconstruir la secuencia usando registros sin depender de la memoria de quien ejecutó la prueba.

Cierra hallazgos con coordinación. Documenta evidencia, mitigación y riesgo residual. Notifica a terceros si resultaron afectados mediante canales apropiados. Comparte aprendizajes sin detalles explotables. Añade el caso a regresión y valida que el control técnico, no solo el prompt, evite recurrencia. Cierra con go, revise o stop y documenta la razón. evidencia de comportamiento obtenida en un entorno seguro y reproducible existe solo si el estado real coincide con el solicitado y el equipo conoce pendientes, propietario y fecha de revisión. La guía se convierte así en un control que puede repetirse cuando cambian las condiciones.