Un modelo entrenado para su propio harness puede rendir mejor y ser menos portable al mismo tiempo

La neutralidad del harness era una simplificación útil, no una ley. Durante años se compararon modelos como si recibieran un prompt y devolvieran texto en condiciones casi intercambiables. Los agentes rompen esa idea. Una tarea larga depende de cómo se presentan herramientas, errores, memoria, archivos y checkpoints. SpaceXAI dice que Grok 4.7 fue entrenado para entender de forma nativa el harness Grok Bot. Eso puede mejorar muchísimo la coordinación, pero también significa que parte de la capacidad observable emerge de una pareja específica. Cuando comparamos modelos, debemos decidir si queremos medir el mejor sistema posible o la portabilidad del mismo modelo en un entorno neutral.

La coadaptación puede ser una ventaja legítima. No hay nada intrínsecamente malo en optimizar un motor para su runtime. Bases de datos, compiladores y sistemas operativos llevan décadas co-diseñándose. Si un modelo entiende mejor tipos de herramientas, formatos de errores y convenciones de memoria, desperdicia menos pasos traduciendo protocolos y puede recuperarse con mayor precisión. Para un producto integrado, esa eficiencia es valor real. El error sería atribuirla solo a la inteligencia abstracta del modelo o asumir que viajará intacta a otro harness. Las decisiones de compra necesitan separar rendimiento integrado de rendimiento portable porque cada empresa tiene un grado distinto de lock-in tolerable.

La portabilidad se puede medir con una matriz cruzada. En vez de ejecutar cada modelo únicamente en su harness preferido, probamos modelo A y B en dos o tres configuraciones controladas. Mantenemos herramientas y criterios de éxito, adaptando solo el formato mínimo necesario. Si A domina en su entorno nativo pero cae fuertemente en uno neutral, sabemos que su ventaja depende de acoplamiento. Si conserva la mejora, tenemos evidencia de capacidad más general. La misma matriz sirve al actualizar un harness interno: podemos comprobar si la nueva versión favorece accidentalmente a un modelo y si los gains observados vienen del runtime en vez del motor.

El lock-in más peligroso no es el endpoint, sino el comportamiento implícito. Cambiar una URL de API suele ser fácil. Lo difícil aparece cuando prompts, memory schemas, herramientas y retries están llenos de suposiciones sobre cómo un modelo interpreta ciertas señales. Esa dependencia rara vez está documentada y explota cuando queremos migrar. Una arquitectura madura convierte convenciones en contratos explícitos: tool schemas, error taxonomy, checkpoint protocol y context packaging. Después crea adapters por proveedor. No elimina toda diferencia, pero localiza el acoplamiento. Así la especialización sigue siendo aprovechable sin contaminar cada habilidad con detalles del modelo actual.

Las evaluaciones de seguridad también dependen del harness. Un modelo puede tener buenas tasas de rechazo en un chat y comportarse distinto cuando una herramienta ofrece acciones concretas. Del mismo modo, el runtime puede bloquear efectos que el modelo habría intentado. Por eso la seguridad de un sistema agentic no es una propiedad escalar del modelo. Debemos probar combinaciones reales de motor, herramientas y permisos. Si el proveedor mejora safeguards, repetimos nuestros escenarios. Si cambiamos el harness, también repetimos. La matriz de compatibilidad no sirve únicamente para performance; documenta qué configuración específica fue aprobada para cada clase de efecto.

Implicación para Goatify. Goatify debería mantener una model-harness compatibility matrix con success rate, costo, pasos, latencia y policy violations por configuración. No necesitamos perseguir neutralidad absoluta: podemos aprovechar integraciones nativas cuando ganen claramente. Pero una habilidad no debe depender de un detalle invisible del proveedor. El contrato externo permanece estable y los adapters absorben diferencias. Eso nos da poder de negociación y resiliencia. El día que otro modelo sea mejor, el costo de migrar será una evaluación controlada, no una reescritura. La independencia se construye con interfaces verificables, no con la promesa de que todos los modelos se comportan igual.