Revista de Marketing y Negocios
Columnistas Inteligencia Artificial Tecnología

Su agente de IA funciona, pero ¿quién vigila sus decisiones?

Imagine que una empresa implementa un agente de inteligencia artificial para gestionar parte de sus campañas de marketing. Durante las primeras semanas, el sistema analiza resultados, propone ajustes de presupuesto, identifica oportunidades comerciales y prepara acciones que anteriormente requerían varias horas de trabajo.

Las pruebas son satisfactorias. Los directivos celebran la productividad alcanzada. El equipo comienza a confiar en las recomendaciones y, gradualmente, permite que el agente ejecute determinadas tareas sin solicitar autorización en cada ocasión.

Todo parece funcionar.

Capítulo PYMES + IA

Hasta que un día descubren que el agente ha comenzado a modificar decisiones comerciales de una manera que nadie había previsto. No ha sido víctima necesariamente de un ataque informático. Tampoco ha dejado de funcionar. Simplemente, está ejecutando acciones que ya no corresponden a las condiciones bajo las cuales fue autorizado inicialmente.

La pregunta es inevitable: ¿quién estaba vigilando sus decisiones mientras la empresa confiaba en que todo seguía funcionando?

En una columna anterior analicé por qué los agentes de IA necesitan límites de autonomía, permisos explícitos y responsables identificables. Sin embargo, existe una segunda dimensión igualmente importante: comprobar que esos controles continúen funcionando una vez que el agente comienza a operar.

Porque autorizar a un agente de inteligencia artificial no significa que su comportamiento permanecerá dentro de los límites establecidos para siempre.

El riesgo que aparece después de implementar un agente

Durante años, las empresas han evaluado proyectos tecnológicos principalmente antes de ponerlos en funcionamiento. Se revisan requisitos, se realizan pruebas, se autoriza la implementación y se entrega el sistema a los usuarios.

Con los agentes de inteligencia artificial, ese procedimiento resulta insuficiente.

A diferencia de una automatización tradicional basada en reglas fijas, determinados agentes pueden interpretar instrucciones, utilizar herramientas, seleccionar acciones y modificar su ejecución conforme cambian la información disponible y el contexto.

Esto no significa que todos los agentes aprendan permanentemente de cada interacción o modifiquen sus modelos por sí mismos. Significa que sus decisiones pueden variar aun cuando el modelo y las instrucciones principales permanezcan iguales.

Una nueva fuente de información, un cambio en los permisos, la actualización de una herramienta o una modificación del proceso empresarial pueden alterar los resultados.

El National Institute of Standards and Technology (NIST), mediante su AI Risk Management Framework, considera el monitoreo posterior a la implementación una parte fundamental de la gestión de riesgos. Su enfoque reconoce que los sistemas pueden enfrentarse a condiciones diferentes de aquellas en las que fueron evaluados originalmente.

La supervisión, por tanto, no debería terminar cuando un agente supera las pruebas iniciales. Es precisamente cuando comienza a interactuar con procesos reales cuando aparecen nuevas preguntas.

Cuando el éxito operativo oculta nuevas vulnerabilidades

Un agente puede cumplir sus indicadores de productividad y, simultáneamente, generar riesgos.

Pensemos en un sistema que prepara respuestas para clientes. Si antes necesitaba diez minutos para procesar una solicitud y ahora la resuelve en segundos, la mejora es evidente.

Pero ¿qué sucede si comienza a ofrecer condiciones comerciales no autorizadas? ¿O si utiliza información desactualizada? ¿O si sus respuestas mantienen una apariencia profesional, pero contienen compromisos que la empresa no puede cumplir?

La velocidad no corrige estos problemas. Puede amplificarlos.

En finanzas ocurre algo semejante. Un agente que concilia operaciones, clasifica movimientos o identifica anomalías puede ahorrar tiempo. Sin embargo, si sus criterios dejan de corresponder con las políticas vigentes, el número de transacciones procesadas puede aumentar mientras disminuye la calidad del control.

Aquí aparece una distinción esencial: el desempeño de un agente y la calidad de su gobierno no son la misma cosa.

La organización necesita medir ambos.

La autonomía puede desviarse sin que cambie el objetivo

Conviene distinguir varias situaciones que suelen confundirse.

Una es la degradación del desempeño: el sistema comienza a equivocarse con mayor frecuencia.

Otra es el cambio del entorno: aparecen nuevos productos, clientes, regulaciones o condiciones que no estaban presentes durante las pruebas iniciales.

También pueden surgir cambios operativos: nuevas integraciones, permisos ampliados, modificaciones en las instrucciones o herramientas que ahora permiten ejecutar acciones antes imposibles.

Finalmente, existe el riesgo de manipulación deliberada, por ejemplo, cuando un agente interpreta instrucciones maliciosas contenidas en documentos, correos o fuentes externas.

OWASP identifica amenazas relacionadas con el uso indebido de herramientas, la manipulación de objetivos y el abuso de identidades o privilegios en sistemas agénticos.

No son situaciones equivalentes ni necesariamente tienen la misma causa. Sin embargo, comparten una consecuencia empresarial: un sistema autorizado puede producir acciones que la organización no esperaba.

Por eso necesitamos pasar de una gobernanza documental a una gobernanza operativa y verificable.

No basta con definir las reglas: hay que comprobar que se cumplen

Muchas organizaciones cuentan con políticas de seguridad, manuales de uso de IA y procedimientos de autorización.

El problema no siempre es la ausencia de documentos. Es la distancia entre lo que esos documentos establecen y lo que realmente sucede dentro de los sistemas.

Un agente puede tener instrucciones que le prohíban modificar precios y, al mismo tiempo, disponer de una integración tecnológica que técnicamente le permita hacerlo.

Puede existir una política que exige autorización humana para determinados pagos, pero el sistema no contar con un mecanismo que bloquee la ejecución cuando esa autorización falta.

Y puede existir un responsable del agente que nunca reciba información suficiente para identificar anomalías.

La solución no consiste en agregar más documentos. Consiste en convertir las políticas en controles observables y, cuando corresponde, técnicamente exigibles.

De PASE como diseño a PASE como verificación

Para organizar este problema propongo extender el marco conceptual PASE: Propósito, Accesos, Supervisión y Evidencia.

No se trata de un estándar internacional ni sustituye marcos como NIST u OWASP. Es una herramienta editorial de análisis para traducir principios de gobernanza a preguntas operativas.

P — Propósito. ¿El agente continúa trabajando para el objetivo que fue aprobado?

No basta con definir qué debe hacer. Es necesario identificar si comienza a perseguir resultados secundarios que contradicen prioridades empresariales, restricciones comerciales o necesidades de los clientes.

A — Accesos. ¿Sus permisos siguen correspondiendo a las funciones autorizadas?

Las conexiones con aplicaciones y bases de datos deben revisarse cuando cambian los procesos. Un permiso razonable para consultar información puede ser excesivo si posteriormente permite modificarla o distribuirla.

S — Supervisión. ¿Existe capacidad real para detectar, detener y corregir una acción?

La supervisión no significa que una persona observe permanentemente cada operación. Significa que hay alertas, condiciones de intervención y mecanismos para suspender acciones cuando se presentan circunstancias relevantes.

E — Evidencia. ¿Podemos reconstruir qué hizo el agente, por qué se permitió esa operación y qué resultado produjo?

Un historial de conversaciones no necesariamente permite auditar decisiones. La organización requiere registros adecuados de las acciones, herramientas utilizadas, autorizaciones, resultados y excepciones.

El valor de PASE está en transformar cuatro conceptos generales en preguntas que pueden verificarse durante la operación.

Un agente que fue autorizado correctamente hace tres meses necesita demostrar que sigue operando dentro de las condiciones aprobadas hoy.

PASE

Cinco señales que una empresa debería vigilar

La supervisión de agentes debe traducirse en indicadores que las áreas de negocio comprendan, no solamente en registros técnicos destinados al departamento de tecnología.

1. Acciones fuera de las condiciones previstas

¿Cuántas veces el agente intenta realizar una operación no contemplada en su mandato?

Una solicitud de acceso no autorizado, una acción fuera de horario o una modificación que supera un límite comercial son ejemplos de eventos que deben detectarse.

La señal importante no es solamente cuántas operaciones fueron bloqueadas, sino si existe un patrón que requiere revisar el diseño del agente.

2. Excepciones y solicitudes de intervención

¿Cuántas decisiones requieren aprobación humana y por qué?

Un incremento puede indicar mayor complejidad de los casos, instrucciones ambiguas o cambios en los datos.

Sin embargo, una disminución tampoco demuestra automáticamente que el sistema es más seguro: podría significar que está omitiendo solicitar autorizaciones.

Los indicadores necesitan interpretación.

3. Diferencias entre decisiones propuestas y resultados observados

¿Lo que el agente declara haber realizado coincide con las acciones registradas en los sistemas?

Esta comparación es especialmente relevante cuando el agente coordina varias herramientas. Un reporte que afirma que una tarea fue completada debe contrastarse con evidencia de la operación.

La capacidad de explicar una decisión no sustituye la comprobación de que realmente se ejecutó como estaba previsto.

4. Cambios en el uso de herramientas y permisos

¿El agente comienza a utilizar herramientas que anteriormente no necesitaba? ¿Aumentan las consultas a datos sensibles? ¿Se amplían los accesos después de una actualización?

Estos eventos pueden ser legítimos, pero deberían ser visibles.

La seguridad empresarial no depende únicamente de impedir acciones maliciosas. También requiere detectar cambios relevantes antes de que sus consecuencias se acumulen.

5. Tiempo necesario para detectar y corregir problemas

¿Cuánto tarda la empresa en reconocer una acción indebida y cuánto tarda en detenerla?

Un error identificado después de una sola operación puede tener consecuencias muy diferentes de uno detectado después de miles de ejecuciones.

Por eso, además de medir productividad, conviene observar tiempos de detección, suspensión y recuperación.

El NIST AI RMF contempla mecanismos de respuesta a incidentes, recuperación, cambios y retiro de sistemas. OWASP también recomienda registrar decisiones y llamadas a herramientas, detectar anomalías y generar alertas ante eventos relevantes.

El mensaje para los directivos es claro: la supervisión debe poder demostrar resultados, no solamente buenas intenciones.

Un ejemplo empresarial: cuando el agente optimiza la métrica equivocada

Consideremos un escenario hipotético en una empresa de comercio electrónico.

La organización implementa un agente para mejorar la conversión de campañas digitales. Inicialmente, el sistema analiza información y propone ajustes, siempre bajo autorización del equipo comercial.

Después de varias semanas de resultados favorables, recibe permiso para redistribuir pequeños presupuestos dentro de ciertos límites.

Hasta aquí, la decisión parece razonable.

Sin embargo, comienza una temporada de promociones. Cambian los márgenes de algunos productos, aparecen descuentos especiales y se modifican los costos logísticos.

El agente continúa optimizando conversiones basándose en señales que no reflejan completamente esas nuevas condiciones.

Las ventas aumentan, pero algunas operaciones generan márgenes insuficientes.

¿Falló la inteligencia artificial?

La respuesta requiere matices.

El sistema pudo haber ejecutado correctamente el objetivo técnico asignado. El problema sería que ese objetivo dejó de representar adecuadamente el resultado empresarial deseado.

Esto ilustra una diferencia fundamental entre optimización y gobierno.

Un agente puede mejorar una métrica y empeorar el negocio.

Un sistema de supervisión más sólido permitiría identificar que los supuestos comerciales cambiaron y que las decisiones automáticas requieren nuevas restricciones.

No se trata de eliminar la automatización, sino de incorporar señales empresariales que permitan reconocer cuándo deja de ser conveniente.

El caso también muestra por qué la gobernanza de IA no puede quedar exclusivamente en manos de especialistas tecnológicos. Finanzas debe definir límites económicos; marketing, criterios comerciales; operaciones, restricciones del proceso; y seguridad, condiciones de acceso y control.

La responsabilidad es interdisciplinaria.

La verdadera madurez empieza cuando podemos intervenir

La industria tecnológica suele evaluar a los agentes por su capacidad para ejecutar tareas complejas con menor intervención humana.

Es una dimensión relevante, pero no suficiente para juzgar su valor organizacional.

Una empresa madura no es necesariamente aquella que permite que sus agentes trabajen sin supervisión durante más tiempo.

Es aquella que sabe identificar cuándo debe confiar, cuándo debe verificar y cuándo debe intervenir.

Los principios de inteligencia artificial de la OCDE destacan la importancia de la trazabilidad, la rendición de cuentas y la gestión continua del riesgo. También contemplan la posibilidad de corregir, desactivar o retirar sistemas cuando su funcionamiento pueda generar daños indebidos.

La evolución de las herramientas de seguridad apunta en una dirección semejante: controlar no solamente las respuestas del modelo, sino las acciones que ejecuta a través de aplicaciones y servicios.

Sin embargo, ningún marco puede sustituir las decisiones empresariales que definen qué riesgo está dispuesta a aceptar una organización.

No todos los agentes necesitan el mismo nivel de supervisión. Preparar un borrador interno no implica las mismas consecuencias que modificar una operación financiera, publicar un mensaje institucional o autorizar condiciones comerciales.

La proporcionalidad importa.

También importa reconocer que el control excesivo puede convertir la automatización en un procedimiento lento e improductivo.

El objetivo no es autorizar manualmente cada movimiento. Es establecer controles adecuados al impacto y reservar la intervención humana para los momentos en que realmente agrega valor.

La pregunta ya no es si su agente puede trabajar solo

La primera etapa de adopción de inteligencia artificial se concentró en aprender a utilizar herramientas.

La segunda consistió en integrarlas a procesos empresariales y demostrar que podían generar resultados.

Con los agentes aparece una tercera exigencia: operar sistemas capaces de ejecutar acciones sin perder visibilidad sobre sus decisiones y consecuencias.

Ese cambio requiere nuevas capacidades organizacionales. Las empresas deberán diseñar indicadores, revisar sus integraciones, conservar evidencia relevante, preparar mecanismos de intervención y actualizar sus políticas conforme evolucionen los sistemas.

Pero, sobre todo, deberán abandonar una suposición peligrosa: que un agente permanece bajo control simplemente porque alguna vez fue autorizado.

La confianza empresarial no puede depender exclusivamente de las pruebas iniciales ni de que los resultados parezcan satisfactorios.

Debe sostenerse en evidencia obtenida durante la operación.

Porque el verdadero indicador de madurez no es cuánto tiempo puede trabajar un agente sin intervención humana, sino qué tan pronto puede la empresa detectar que está dejando de trabajar como debería.

Y quizá esa sea la pregunta que conviene llevar a la próxima reunión de dirección:

Si mañana uno de sus agentes comienza a tomar decisiones fuera de las condiciones aprobadas, ¿quién se enterará primero: su sistema de supervisión o sus clientes?

Fuentes y referencias

Quién autoriza su agente de inteligencia artificial
National Institute of Standards and Technology (NIST). Artificial Intelligence Risk Management Framework (AI RMF 1.0). https://airc.nist.gov/airmf-resources/airmf/5-sec-core/

NIST. AI RMF Playbook: MEASURE. https://airc.nist.gov/airmf-resources/playbook/measure/

NIST. AI RMF Playbook: MANAGE. https://airc.nist.gov/airmf-resources/playbook/manage/

OWASP. AI Agent Security Cheat Sheet. https://cheatsheetseries.owasp.org/cheatsheets/AI_Agent_Security_Cheat_Sheet.html

OECD. OECD AI Principles. https://www.oecd.org/en/topics/ai-principles.html

Office of the Superintendent of Financial Institutions, Canada (2026). Generative and Agentic Artificial Intelligence: Implications for Technology, Cyber Security, and Operational Resilience. https://www.osfi-bsif.gc.ca/en/risks/technology-cyber-risk-management/technology-risk-bulletin/generative-agentic-artificial-intelligence-implications-technology-cyber-security-operational

Dra. Elda Cristina Morales

Catedrática/Consultor del Tec de Monterrey

Doctora, académica y especialista en finanzas, negocios e inteligencia artificial aplicada, aporta una mirada estratégica que conecta academia, innovación y transformación digital. Su enfoque traduce la IA en valor real, tendencias clave y oportunidades concretas para empresas y líderes.

DEJAR UN COMENTARIO

No hay comentarios aún. ¡Sé el primero en comentar!

Partners