Microsoft aporta un marco multiagente a una alianza abierta para evaluar la seguridad de sistemas de IA

La seguridad de la IA se convierte en una infraestructura compartida. NVIDIA anunció el 27 de julio la Open Secure AI Alliance, una iniciativa que reúne empresas y proyectos para desarrollar componentes abiertos de evaluación y protección de sistemas de inteligencia artificial. La alianza parte de una idea importante: ninguna organización puede resolver por sí sola todos los riesgos que aparecen cuando modelos, agentes, identidades y herramientas interactúan. Compartir métodos, formatos y aprendizajes puede acelerar la detección de fallos y reducir la dependencia de controles que solo entiende el proveedor que los creó.

Microsoft aporta un marco de evaluación multiagente. Entre las contribuciones presentadas figura MDASH, una herramienta de Microsoft que coordina varios agentes con funciones diferenciadas durante una evaluación. El valor empresarial está en separar perspectivas: un componente puede formular una hipótesis, otro cuestionarla y un tercero reunir evidencia para revisión humana. Ese diseño no convierte a los agentes en jueces finales. Al contrario, crea un proceso más trazable para que una persona pueda comparar argumentos, revisar pruebas y decidir si un hallazgo requiere corrección o una investigación adicional.

El marco operativo importa tanto como el modelo. La alianza recuerda que un sistema de IA no está compuesto únicamente por un modelo. También incluye identidades, permisos, conectores, fuentes de datos, reglas de negocio, interfaces y mecanismos de seguimiento. Cambiar de proveedor sin revisar esas capas puede conservar los mismos problemas de control. Para una empresa, la consecuencia práctica es evaluar cada automatización como un conjunto: quién puede usarla, qué información recibe, qué decisiones puede proponer, qué acciones están permitidas y cómo se documenta el resultado.

La apertura facilita comparaciones reproducibles. Un componente abierto puede ser revisado por distintos equipos, adaptado a contextos propios y utilizado para repetir una evaluación bajo condiciones similares. Eso ayuda a separar una impresión comercial de una prueba que otros pueden examinar. La apertura no exige publicar datos confidenciales ni entregar acceso irrestricto. Significa que los criterios, formatos y resultados puedan entenderse suficientemente para que una organización no dependa de una explicación opaca cuando necesita justificar una decisión de seguridad.

La identidad de cada agente debe ser visible. La alianza también destaca proyectos relacionados con identidad y procedencia de componentes. En términos empresariales, cada agente debería operar con una identidad propia, permisos limitados y un historial atribuible. Cuando varias automatizaciones comparten la misma cuenta o las mismas autorizaciones, resulta difícil determinar quién realizó una acción y por qué. Separar identidades mejora la auditoría, permite ajustar responsabilidades y reduce el impacto de una configuración incorrecta sin bloquear todo el sistema.

Las evaluaciones deben parecerse al trabajo real. Una prueba útil no puede limitarse a preguntas aisladas. Debe incluir tareas con documentos, decisiones incompletas, cambios de contexto, límites de acceso y necesidad de pedir ayuda. El objetivo es observar cómo responde el sistema cuando la información no es perfecta y cuando varias reglas compiten entre sí. Para una pyme, esto puede realizarse con escenarios cotidianos: una solicitud ambigua, un dato faltante, una aprobación pendiente o una excepción comercial que no debería resolverse automáticamente.

La acción empresarial es crear una revisión mínima y repetible. Un equipo puede elegir una integración concreta y evaluarla con tres funciones separadas: proponer, cuestionar y verificar. Después, una persona revisa la evidencia, registra la decisión y actualiza la regla correspondiente. El ejercicio debe repetirse cuando cambien el modelo, los permisos o el proceso. La propuesta de la alianza muestra que la seguridad de agentes será más sólida cuando las empresas utilicen métodos compartidos, identidades claras y evaluaciones que puedan explicarse, compararse y mejorar con el tiempo.