A medida que las organizaciones experimentan con sistemas de IA autónomos, proteger la denominada IA agéntica se está convirtiendo en una preocupación destacada para líderes tecnológicos, inversores y equipos de ciberseguridad. Los sistemas agénticos están diseñados para realizar acciones, utilizar herramientas, recuperar información y completar tareas de varios pasos con una intervención humana limitada, lo que amplía tanto su potencial valor empresarial como su riesgo de seguridad.
El desafío ha impulsado el debate sobre si podría surgir una nueva generación de empresas de ciberseguridad para proteger estos sistemas. A diferencia del software convencional, los agentes de IA pueden interactuar con datos sensibles, conectarse a aplicaciones empresariales, invocar API y tomar decisiones basadas en entradas cambiantes. Estas capacidades pueden crear oportunidades para el uso indebido, la exposición accidental de datos, los permisos excesivos y la manipulación mediante prompts maliciosos o herramientas comprometidas.
Un problema de seguridad distinto
Es posible que los controles de seguridad para las aplicaciones agénticas deban abordar más que el modelo de lenguaje subyacente. Es probable que las organizaciones necesiten visibilidad sobre aquello a lo que un agente puede acceder, las acciones que ha realizado, cómo utiliza herramientas externas y si su comportamiento se mantiene dentro de los límites aprobados.
- Restringir el acceso a sistemas y datos sensibles
- Supervisar el uso de herramientas, las llamadas a API y las acciones de los agentes
- Detectar la inyección de prompts e instrucciones maliciosas
- Mantener registros de auditoría de las decisiones automatizadas
- Aplicar pasos de aprobación humana a operaciones de alto riesgo
La oportunidad de mercado está atrayendo atención porque se espera que las empresas implementen agentes de IA en flujos de trabajo de atención al cliente, desarrollo de software, finanzas, operaciones y seguridad. Si la adopción se acelera, las empresas podrían buscar productos diseñados específicamente para la aplicación de políticas, controles de identidad, pruebas, supervisión y respuesta a incidentes en entornos impulsados por agentes.
Sin embargo, el sector aún se encuentra en una etapa temprana. Los requisitos de seguridad variarán según la autonomía de un agente, los sistemas a los que pueda acceder y la sensibilidad de la información que gestione. Es probable que los proveedores consolidados de ciberseguridad, los proveedores de nube y las empresas de plataformas de IA también compitan por este mercado, junto con startups centradas específicamente en el riesgo de la IA autónoma.
Por ahora, la seguridad agéntica representa una categoría emergente más que un segmento de productos plenamente definido. Su escala final dependerá de hasta qué punto las organizaciones confíen tareas importantes a los agentes de IA y de cuán eficazmente pueda el sector limitar los riesgos que acompañan a esa confianza.