El NCSC insta a adoptar un enfoque basado en el riesgo para el desarrollo de software asistido por IA

El Centro Nacional de Ciberseguridad del Reino Unido ha publicado una guía que anima a los desarrolladores a considerar la creación de software asistida por IA como un continuo, en lugar de una elección absoluta. La agencia afirma que la llamada «programación por intuición» puede ser útil, pero que el nivel de autonomía de la IA debe depender de la sensibilidad del sistema que se está creando.

Las herramientas de IA se utilizan actualmente de forma generalizada para generar código a partir de indicaciones de alto nivel, y los usuarios suelen iterar sobre el resultado en lugar de escribir cada línea por sí mismos. El NCSC afirma que esto puede acelerar el desarrollo, pero también plantea dudas sobre fallos de seguridad, arquitecturas poco claras y la mantenibilidad a largo plazo. Dado que los sistemas de IA se entrenan con grandes volúmenes de código existente, pueden reproducir patrones inseguros si los desarrolladores confían en ellos sin una revisión suficiente.

Los distintos sistemas conllevan distintos riesgos

Según el NCSC, la principal cuestión no es si debe utilizarse la IA, sino dónde se utiliza y qué nivel de supervisión se aplica. Los trabajos de bajo riesgo, como las demostraciones de prueba de concepto, las herramientas internas o las maquetas, pueden ser adecuados para una mayor participación de la IA. En cambio, el código que gestiona autenticación, datos personales sensibles, credenciales o funciones críticas para la seguridad necesita controles más estrictos.

La agencia describe esto como un «espectro de la programación por intuición». En un extremo se encuentra el desarrollo tradicional dirigido por personas, con la IA como asistente mediante autocompletado y pequeñas sugerencias. En el otro está la autonomía total, en la que un sistema de IA diseña, escribe e itera sobre el código con una intervención humana mínima. Entre ambos extremos existen muchos enfoques híbridos, como funciones generadas por IA, arquitecturas escritas por personas y flujos de trabajo basados en pruebas en los que los desarrolladores definen las pruebas y el modelo escribe la implementación.

La supervisión sigue siendo esencial

El NCSC afirmó que el uso de IA para software importante no tiene por qué estar prohibido, pero sí requiere una supervisión cuidadosa. Los desarrolladores deben revisar el código generado, comprender cómo funciona, comprobar si presenta vulnerabilidades y confirmar que se comporta según lo previsto. El sistema en su conjunto también debe diseñarse para limitar el impacto de cualquier posible intrusión.

Para los proyectos de mayor riesgo, el NCSC señala los requisitos básicos de ciberseguridad desarrollados con socios internacionales a través del Comité Técnico de ETSI sobre la seguridad de la IA. La guía llega mientras las herramientas de programación con IA siguen mejorando rápidamente, lo que lleva a las organizaciones a replantearse cuánta confianza depositan en los flujos de trabajo de desarrollo automatizados.

• Los proyectos de bajo riesgo pueden tolerar una mayor autonomía de la IA.
• Los sistemas sensibles desde el punto de vista de la seguridad necesitan una mayor revisión humana.
• El equilibrio adecuado depende del contexto, no de una regla fija.