Le NCSC préconise une approche fondée sur les risques pour le développement logiciel assisté par l’IA

Le Centre national de cybersécurité britannique a publié des recommandations invitant les développeurs à considérer la création de logiciels assistée par l’IA comme un continuum plutôt qu’un choix binaire. L’agence estime que le « codage au feeling » peut être utile, mais que le niveau d’autonomie accordé à l’IA doit dépendre de la sensibilité du système développé.

Les outils d’IA sont désormais largement utilisés pour générer du code à partir d’instructions de haut niveau, les utilisateurs améliorant souvent le résultat par itérations plutôt que d’écrire eux-mêmes chaque ligne. Le NCSC indique que cette approche peut accélérer le développement, mais qu’elle soulève également des préoccupations concernant les failles de sécurité, une architecture mal définie et la maintenabilité à long terme. Les systèmes d’IA étant entraînés sur de vastes volumes de code existant, ils peuvent reproduire des pratiques non sécurisées si les développeurs les utilisent sans effectuer suffisamment de vérifications.

Les différents systèmes présentent des niveaux de risque différents

Selon le NCSC, la question principale n’est pas de savoir s’il faut utiliser l’IA, mais où l’utiliser et quel niveau de supervision appliquer. Les travaux à faible risque, comme les démonstrations de faisabilité, les outils internes ou les maquettes, peuvent se prêter à une implication plus importante de l’IA. En revanche, le code qui gère l’authentification, les données personnelles sensibles, les identifiants ou les fonctions critiques pour la sécurité nécessite des contrôles renforcés.

L’agence décrit cette approche comme un « spectre du codage au feeling ». À une extrémité se trouve le développement traditionnel piloté par l’humain, l’IA intervenant pour la complétion automatique et de petites suggestions. À l’autre extrémité se trouve l’autonomie complète, où un système d’IA conçoit, écrit et améliore le code avec une intervention humaine minimale. Entre ces deux extrêmes, il existe de nombreuses approches hybrides, notamment des fonctions générées par l’IA, une architecture conçue par des humains et des flux de travail axés sur les tests, dans lesquels les développeurs définissent les tests et le modèle écrit l’implémentation.

La supervision reste essentielle

Le NCSC a déclaré que l’utilisation de l’IA pour des logiciels importants ne devait pas nécessairement être exclue, mais qu’elle exigeait une supervision rigoureuse. Les développeurs doivent examiner le code généré, comprendre son fonctionnement, le tester à la recherche de vulnérabilités et confirmer qu’il se comporte comme prévu. Le système dans son ensemble doit également être conçu pour limiter l’impact d’une éventuelle compromission.

Pour les projets présentant des risques plus élevés, le NCSC renvoie aux exigences de base en matière de cybersécurité élaborées avec des partenaires internationaux dans le cadre du comité technique d’ETSI consacré à la sécurisation de l’IA. Ces recommandations paraissent alors que les outils de codage basés sur l’IA continuent de progresser rapidement, incitant les organisations à revoir le niveau de confiance qu’elles accordent aux flux de développement automatisés.

• Les projets à faible risque peuvent tolérer un niveau d’autonomie plus élevé de l’IA.
• Les systèmes sensibles sur le plan de la sécurité nécessitent une plus grande supervision humaine.
• Le juste équilibre dépend du contexte et non d’une règle fixe.