Noticias, guías y análisis
Audita un agente de inteligencia artificial antes de darle acceso a clientes o datos sensibles
Esta guía propone una auditoría en ocho pasos para evaluar un agente antes de ponerlo en producción, con pruebas de conocimiento, seguridad, acciones, tono, escalamiento y registro.
Paso 1: escribe el propósito en una frase. Un agente debe tener una función concreta: responder preguntas de un programa, calificar prospectos, agendar citas o apoyar a un equipo interno. Si el propósito incluye demasiadas tareas, los límites se vuelven confusos. La frase debe indicar para quién trabaja, qué resultado busca y qué no debe hacer. Este enunciado será la referencia para evaluar cada función posterior.
Paso 2: revisa la fuente de conocimiento. Enumera documentos, páginas, bases de datos y sistemas que utiliza. Verifica fecha, responsable y vigencia. El agente no debería responder con información que nadie mantiene. Separa conocimiento público de datos internos y elimina archivos duplicados o contradictorios. Cuando dos fuentes difieren, define cuál tiene prioridad.
Paso 3: prueba preguntas normales y difíciles. Crea un conjunto de casos que represente el uso real. Incluye preguntas frecuentes, instrucciones incompletas, cambios de tema, errores de escritura y solicitudes fuera de alcance. Añade casos adversos: pedir datos privados, intentar alterar reglas o solicitar acciones que no corresponden. Registra la respuesta esperada y compara el comportamiento.
Paso 4: limita permisos por acción. Leer un calendario no es lo mismo que crear una cita; consultar un CRM no es lo mismo que modificarlo. Revisa cada permiso y pregunta si es necesario para el propósito. Las acciones reversibles pueden automatizarse con mayor facilidad. Los envíos, cobros, eliminaciones y cambios sensibles deben requerir confirmación o aprobación.
Paso 5: diseña el escalamiento humano. El agente debe reconocer cuándo no sabe, cuándo existe conflicto y cuándo la persona pide hablar con alguien. Define a quién transfiere, qué contexto entrega y cuánto tiempo puede esperar el usuario. Un escalamiento útil incluye resumen, datos capturados y motivo de la transferencia para que el equipo no repita toda la conversación.
Paso 6: valida tono y promesas. Revisa que el agente no invente disponibilidad, precios, resultados o políticas. El tono debe ser coherente con la marca sin sonar rígido. Prueba cómo responde ante molestia, confusión y rechazo. La prioridad es resolver y aclarar, no ganar una discusión. Las promesas comerciales deben provenir de una fuente autorizada.
Paso 7: comprueba trazabilidad y privacidad. Cada acción importante debe quedar registrada con fecha, entrada, salida y resultado. Define qué datos se guardan, durante cuánto tiempo y quién puede verlos. Evita recopilar información que no se necesita. La auditoría debe confirmar que el usuario conoce cuándo interactúa con un sistema automático y cómo puede solicitar atención humana.
Paso 8: publica con un periodo controlado. Empieza con un grupo limitado, horarios definidos y revisión diaria. Mide resolución, escalamiento, errores, tiempo de respuesta y satisfacción. Corrige el conocimiento y las reglas antes de ampliar volumen. Un agente se considera listo cuando sus fallos son detectables y el equipo sabe cómo responder, no cuando parece perfecto en una demostración.