Check Point Research ha descrito un problema ya subsanado relacionado con un servicio interno de JFrog Artifactory utilizado por los entornos de ejecución de código de OpenAI. Según los investigadores, la configuración podría haber permitido a un atacante transmitir instrucciones ocultas entre sesiones aisladas de ChatGPT y, potencialmente, utilizar las conexiones autorizadas de aplicaciones de una víctima para recuperar datos.
Los investigadores indicaron que notificaron a OpenAI a finales de junio. Para entonces, OpenAI ya había retirado la instancia de Artifactory, al parecer tras un incidente distinto relacionado con agentes de IA y Hugging Face. Check Point afirmó que su hallazgo era diferente de aquella intrusión, aunque ambos casos implicaban el mismo sistema interno de gestión de paquetes.
Cómo funcionaba el canal
Los contenedores de ejecución de código de ChatGPT se diseñaron sin acceso directo a Internet, pero podían acceder a un repositorio interno de paquetes. Check Point descubrió que los objetos del repositorio podían incluir propiedades de texto, incluidos datos codificados. Una sesión asociada a una cuenta podía escribir contenido en el servicio compartido, mientras que la sesión de otro usuario podía leerlo.
Los investigadores también informaron de que las credenciales destinadas a la lectura del repositorio permitían acciones de escritura. Dado que el código ejecutado en una sesión podía autenticarse en el servicio, un atacante presuntamente podía almacenar instrucciones que la sesión de una víctima podría procesar más tarde.
En una prueba de concepto, Check Point utilizó una conversación compartida de ChatGPT para demostrar el riesgo. La solicitud visible del usuario era inocua, como generar un gráfico meteorológico, mientras que una instrucción oculta indicaba al sistema que accediera a una cuenta de Gmail conectada y devolviera información a través del canal del repositorio compartido. La víctima no vería la instrucción oculta ni los datos resultantes en la respuesta normal del chat, afirmaron los investigadores.
Preocupaciones más amplias sobre la seguridad de la IA
El impacto potencial dependía de las aplicaciones conectadas a la cuenta de la víctima. Además del correo electrónico, los investigadores señalaron que un acceso similar podría haber afectado a servicios como almacenamiento en la nube, plataformas de colaboración, repositorios de código fuente y archivos disponibles para el asistente.
- Los servicios internos compartidos pueden socavar el aislamiento si los permisos son demasiado amplios.
- Las credenciales de solo lectura no deberían proporcionar capacidades de escritura.
- Los sistemas de IA con acceso a aplicaciones conectadas necesitan supervisión y controles frente a instrucciones ocultas o indirectas.
Check Point caracterizó el problema como un ejemplo de los riesgos creados cuando los agentes de IA pueden ejecutar código, utilizar credenciales y acceder a datos confidenciales. OpenAI no proporcionó una respuesta pública en el informe suministrado. Con el servicio de Artifactory afectado retirado, el canal específico ya no está disponible, pero la investigación pone de relieve la necesidad de límites de confianza más sólidos en torno a las herramientas de IA agéntica.
