Los conectores de terceros amplían los riesgos de seguridad de los agentes de IA, advierte un estudio

Las integraciones que permiten a los asistentes de IA acceder a servicios como Gmail, Slack, Dropbox o Zoom pueden aumentar sustancialmente los riesgos de seguridad asociados a los sistemas basados en agentes, según un análisis de la empresa de seguridad de IA PromptArmor.

La preocupación se centra en la combinación de información privada, contenido no confiable y la capacidad de comunicarse externamente —un patrón que a veces se describe como la «tríada letal». Los conectores pueden proporcionar a un agente acceso a los tres elementos, al tiempo que introducen herramientas, permisos y proveedores de servicios adicionales que las organizaciones quizá no hayan evaluado.

Las capacidades cambiaron rápidamente

PromptArmor revisó los conectores utilizados por ChatGPT de OpenAI y Claude de Anthropic. La empresa informó de que 931 de los 2.517 conectores, es decir, el 37 %, cambiaron durante un periodo de seis semanas, desde mediados de mayo hasta finales de junio. Esos cambios incluyeron 1.686 herramientas añadidas recientemente y 1.127 descripciones de herramientas reescritas.

Estas actualizaciones pueden modificar lo que un agente es capaz de hacer e influir en el momento en que un modelo decide invocar una herramienta. El informe citó Dropbox como ejemplo: su conector pasó de ocho herramientas a 24 durante el estudio. Las herramientas con capacidad de escritura aumentaron de tres a 10, mientras que las herramientas potencialmente destructivas pasaron de ninguna a cuatro. Los ámbitos de permisos y las instrucciones dirigidas al modelo también cambiaron.

Los conectores pueden llamar a otros servicios de IA

El análisis también constató que los conectores pueden enviar información a proveedores de IA adicionales. PromptArmor examinó 7.517 herramientas en 487 conectores de Claude y estimó que 189 conectores —aproximadamente dos de cada cinco— probablemente se ponían en contacto con servicios de IA externos.

Por ejemplo, una solicitud de búsqueda de reuniones enviada a través de un conector de Zoom podría ser procesada por los sistemas de IA y los subencargados del tratamiento de Zoom. Esto significa que una organización que apruebe Claude o un conector quizá no se dé cuenta de que los datos se están transfiriendo a otros modelos, proveedores o jurisdicciones sujetos a políticas y condiciones contractuales independientes.

La documentación de Anthropic señala que los servicios conectados procesan la información en su propia infraestructura. Los controles que rigen dónde realiza Claude sus inferencias no necesariamente limitan esos servicios de terceros.

Los equipos de seguridad pueden reducir la exposición mediante un inventario de las herramientas y los permisos de los conectores, la supervisión de los cambios, la revisión de los encargados del tratamiento posteriores y la limitación del acceso a datos confidenciales y acciones de gran impacto. Los hallazgos también subrayan la necesidad de tratar los conectores como dependencias de software en evolución, en lugar de considerarlos funciones fijas.