OpenAI e Ironclad prueban agentes de contratos con tareas de principio a fin

La prueba se mueve del chat al trabajo completo. OpenAI anunció el 6 de octubre una colaboración de investigación con Ironclad para entrenar y evaluar agentes capaces de ejecutar flujos contractuales en software. El trabajo cubre escenarios jurídicos, comerciales y de compras, y se concentra en acciones encadenadas, no en responder una pregunta aislada. La lectura responsable de la evaluación de agentes que operan contratos debe separar el anuncio reciente del contexto histórico. La pregunta inmediata es autorizar un piloto solo cuando el agente cumpla criterios de negocio y deje evidencia revisable. Para responderla, la organización necesita rubricas por criterio, trazas de interfaz, tiempo estimado, errores y revisión experta y una definición explícita de qué resultados todavía no pueden generalizarse.

Once tareas condensan procesos profesionales. La evaluación reúne once tareas que, según el artículo, tomarían entre treinta y cuarenta minutos en promedio a un usuario experimentado. Cada ejercicio exige navegar herramientas, interpretar reglas internas y producir un estado final verificable. La muestra es pequeña y específica, por lo que no representa toda operación legal. El alcance es tan importante como el resultado. En este caso, datos de clientes, extrapolación de once tareas y sustitución del juicio jurídico delimitan la interpretación. Documentar esas fronteras evita convertir una investigación, una arquitectura de referencia o un programa selectivo en una promesa de disponibilidad o rendimiento para cualquier entorno.

Las rúbricas separan dimensiones del resultado. Cada tarea contiene entre ocho y cincuenta criterios. Esa granularidad permite puntuar cláusulas, campos, decisiones y pasos separados en vez de aceptar una impresión general. Para una empresa, el valor de esta estructura es localizar exactamente dónde falla un agente y decidir si corrige, escala o deriva a una persona. Un piloto empresarial debe preservar versión, fecha, configuración y responsables. El objetivo es un asistente contractual útil dentro de un proceso controlado. La evidencia debe permitir a un tercero reconstruir la decisión sin depender de una demostración ni de la memoria de quienes participaron en el proyecto.

Los resultados muestran avance y margen pendiente. OpenAI reportó una puntuación media de rúbrica de 55,0% para GPT-6 Astra y 41,6% para GPT-5.6 Sol en estas once tareas. También estimó tiempos medios de 19,2 y 37,0 minutos. La propia fuente advierte que son resultados de investigación y tiempos simulados, no ahorros comprobados de clientes. La integración merece una prueba negativa además de un camino feliz. Hay que comprobar cómo responde ante permisos ausentes, datos incompletos y estados ambiguos. Esas situaciones revelan si rubricas por criterio, trazas de interfaz, tiempo estimado, errores y revisión experta permanece disponible cuando el sistema necesita detenerse o pedir intervención.

Los datos sintéticos reducen una exposición innecesaria. El equipo creó ejercicios sintéticos a partir de contratos públicos de SEC EDGAR y afirmó que no usó datos de clientes para entrenar las tareas. Esa decisión reduce exposición, pero no elimina la necesidad de validar con documentos, políticas y excepciones propias en un entorno aislado antes de cualquier uso productivo. La ampliación de capacidad debe ser reversible. Si datos de clientes, extrapolación de once tareas y sustitución del juicio jurídico dejan de cumplirse, el equipo necesita reducir acceso, aislar la ejecución y conservar trazas. Diseñar esa salida antes del despliegue convierte control en una función operativa y no en una intención escrita.

Lectura Goatify para operaciones contractuales. Para Goatify, la noticia cambia la conversación comercial: una demostración fluida no basta. El cliente necesita un conjunto de tareas representativas, criterios objetivos, revisión profesional y trazas. La implantación debe comenzar por procesos repetibles de bajo riesgo y reservar la interpretación jurídica final a responsables autorizados. La oportunidad para Goatify es traducir la novedad en un asistente contractual útil dentro de un proceso controlado. Eso implica diagnóstico, criterio de aceptación y readback. El cliente recibe una recomendación que distingue lo comprobado, lo pendiente y las condiciones exactas para avanzar a la siguiente etapa.