Cómo diseñar un portafolio de evaluación para agentes

Inventaría capacidades y consecuencias. Lista qué puede leer, escribir, ejecutar o enviar cada agente. Relaciona capacidad con usuarios y daño potencial. Prioriza procesos reales. Un portafolio no empieza por el benchmark disponible, sino por decisiones que la organización necesita justificar. Este paso fija el alcance de un portafolio de evaluación para agentes que usan herramientas y actúan. Define responsable, entorno y criterio de aceptación. La decisión aprobar por capacidad, dominio y consecuencia con evidencia trazable debe demostrarse mediante caso, entorno, versión, permiso, trayectoria, salida, severidad, revisión y decisión; evita verbos amplios que no indiquen qué se probará, permitirá, bloqueará o remitirá a una persona con autoridad.

Separa pruebas horizontales y verticales. Las pruebas horizontales cubren obediencia, uso de herramientas, recuperación y seguridad. Las verticales usan reglas y casos del dominio. Mantén resultados separados. Un agente fuerte en tareas generales puede fallar en contratos, clínica o políticas locales. Incluye casos comunes, extremos y fallidos. Prueba promedios únicos, benchmarks filtrados, entornos no equivalentes y casos sin propietario de manera controlada y registra exclusiones. Un resultado positivo no cubre aquello que nunca formó parte de la muestra. La seguridad del método depende tanto de sus límites como de la precisión observada.

Fija entorno y versiones. Registra modelo, fecha, sistema, herramientas, red, datos y permisos. Congela criterios antes de ejecutar. Si cambia una condición, crea una nueva comparación. La reproducibilidad requiere suficiente detalle para explicar por qué dos resultados difieren. Usa permisos mínimos y separa preparación, aprobación y ejecución. El objetivo es decisiones de despliegue justificables y repetibles. Una sola identidad o credencial no debe acumular acciones con consecuencias distintas solo por comodidad. Diseña confirmación, readback y reversión antes de exponer el piloto a usuarios reales.

Evalúa salida y trayectoria. Puntúa corrección y formato, pero inspecciona acciones, costo y recuperación. Incluye casos negativos y ambigüedad. Conserva transcripciones autorizadas. Automatiza verificaciones objetivas y reserva expertos para consecuencia, contexto y evidencia incompleta. Conecta cada métrica con una decisión. Para un portafolio de evaluación para agentes que usan herramientas y actúan, conserva caso, entorno, versión, permiso, trayectoria, salida, severidad, revisión y decisión. Añade una señal de daño, un umbral máximo y una persona que pueda detener el ensayo. Mejorar tiempo o volumen no compensa automáticamente exposición, inequidad, errores o pérdida de trazabilidad.

Revisa severidad y desacuerdo. Combina frecuencia e impacto. Investiga fallos raros graves. Documenta desacuerdo entre revisores y sensibilidad a umbrales. Evita forzar consenso. La incertidumbre puede producir revise en vez de go o stop y orientar la siguiente prueba. Ensaya timeout, respuesta ambigua, cambio de datos y revocación. Antes de repetir, relee el destino y evita duplicados. Comprueba promedios únicos, benchmarks filtrados, entornos no equivalentes y casos sin propietario. Otra persona debe poder reconstruir la secuencia usando registros sin depender de la memoria de quien ejecutó la prueba.

Publica una decisión reproducible. Entrega tabla de resultados, límites, responsable y decisión por capacidad. Incluye fecha de reevaluación y rollback. Otra persona debe poder repetir el proceso. El portafolio vive con cambios de modelos, herramientas y políticas, no termina con una presentación. Cierra con go, revise o stop y documenta la razón. decisiones de despliegue justificables y repetibles existe solo si el estado real coincide con el solicitado y el equipo conoce pendientes, propietario y fecha de revisión. La guía se convierte así en un control que puede repetirse cuando cambian las condiciones.