La IA agéntica requiere un nuevo enfoque de seguridad

Las organizaciones que evalúan la inteligencia artificial agéntica quizá deban ir más allá de las suposiciones convencionales sobre la seguridad del software. A diferencia de las herramientas que simplemente generan respuestas a indicaciones individuales, los sistemas agénticos pueden diseñarse para perseguir objetivos, tomar decisiones, utilizar servicios conectados y realizar acciones con una intervención humana limitada. Esa autonomía introduce un conjunto diferente de problemas operativos y de seguridad.

El problema no se limita a los atacantes maliciosos. Un agente puede crear riesgos debido a una interpretación incorrecta de su objetivo, un permiso demasiado amplio, información poco fiable o una interacción inesperada con otro sistema. Si un agente puede acceder a datos empresariales, enviar mensajes, modificar registros o iniciar transacciones, un error rutinario podría tener consecuencias que vayan mucho más allá de una respuesta inexacta.

Preguntas que deben plantearse las organizaciones

• ¿Qué decisiones y acciones está autorizado a tomar el agente?
• ¿A qué sistemas, cuentas y datos puede acceder, y están esos permisos limitados a lo que necesita?
• ¿Cuándo se requiere la aprobación humana antes de completar una acción?
• ¿Cómo se registran las instrucciones, los resultados y la actividad del agente para su revisión?
• ¿Puede la organización suspender rápidamente el agente o revocar su acceso si su comportamiento deja de ser seguro?
• ¿Cómo se prueban y aprueban los cambios en el modelo, las herramientas, las indicaciones y los flujos de trabajo conectados?

Estas preguntas apuntan a una reformulación más amplia de la seguridad. Los controles tradicionales, como la gestión de identidades, el principio de mínimo privilegio, la supervisión y la respuesta a incidentes, siguen siendo pertinentes, pero deben tener en cuenta sistemas capaces de interpretar objetivos y actuar en varios pasos. Por lo tanto, las pruebas no solo deben examinar si un agente produce una respuesta aceptable, sino también qué hace cuando la información es incompleta, las instrucciones entran en conflicto o un servicio conectado se comporta de forma inesperada.

La gobernanza también es importante. Una responsabilidad clara, límites operativos definidos y revisiones periódicas pueden ayudar a las organizaciones a determinar cuándo es apropiado el comportamiento autónomo y cuándo una persona debe mantener el control. Tratar la IA agéntica como una función de software ordinaria puede dejar brechas importantes. Considerarla un sistema activo con autoridad, dependencias y modos de fallo proporciona una base más sólida para gestionar sus riesgos.