Brytyjskie National Cyber Security Centre (NCSC) zaktualizowało swój zbiór problemów badawczych o nowy rozdział poświęcony sztucznej inteligencji i cyberbezpieczeństwu. Dodatek ma ukierunkować badania nad możliwościami, zagrożeniami i nierozstrzygniętymi kwestiami technicznymi wynikającymi z coraz większych możliwości systemów AI.
Agencja poinformowała, że nowsze generatywne i agentowe narzędzia AI potrafią rozumować, planować, korzystać z narzędzi zewnętrznych oraz wykonywać zadania z rosnącym poziomem autonomii. Chociaż takie możliwości mogą pomóc obrońcom analizować dane dotyczące bezpieczeństwa, wykrywać zagrożenia i automatyzować rutynowe działania, mogą również umożliwiać atakującym szybsze działanie na większą skalę.
Trzy obszary priorytetowe
Rozdział zatytułowany Problemy AI w cyberbezpieczeństwie wskazuje siedem obszarów badawczych zorganizowanych wokół trzech tematów:
- wykorzystanie AI do poprawy cyberobrony;
- zabezpieczanie i zapewnianie wiarygodności systemów AI; oraz
- stosowanie podejść opartych na danych w celu wzmacniania odporności na dużą skalę.
NCSC stwierdziło, że istniejące praktyki bezpieczeństwa, w tym zarządzanie podatnościami, reagowanie na incydenty i zarządzanie ryzykiem, mogą wymagać dostosowania do środowisk, w których zarówno systemy, jak i przeciwnicy wykorzystują AI. Zasugerowano, że niektóre procesy mogą wymagać bardziej fundamentalnego przeprojektowania, jeśli organizacje mają korzystać z automatyzacji przy jednoczesnym kontrolowaniu związanych z nią zagrożeń.
Nadzór człowieka nadal ma kluczowe znaczenie
Kluczową kwestią przewijającą się przez program badawczy jest relacja między ludźmi a systemami AI. NCSC wskazało, że potrzebne są dalsze prace, aby ustalić, gdzie autonomiczne działanie zapewnia istotne korzyści, gdzie powinien pozostać udział ludzkiej oceny oraz w jaki sposób organizacje mogą utrzymać skuteczny nadzór bez spowalniania działań obronnych prowadzonych z prędkością maszynową.
Aktualizacja następuje po szerszych ostrzeżeniach agencji cyberbezpieczeństwa sojuszu Five Eyes, że AI zmienia tempo i skalę cyberzagrożeń. Jest również zgodna z inicjatywą NCSC Cyber Shield, która przedstawia długoterminową ambicję wykorzystania AI do poprawy cyberobrony Wielkiej Brytanii.
Agencja zbiera opinie środowisk akademickich, branży i administracji publicznej na temat proponowanych wyzwań, dodatkowych pytań badawczych oraz projektów, które mogą na nie odpowiedzieć. NCSC stwierdziło, że wkład zainteresowanych stron może pomóc w kształtowaniu podejść do cyberbezpieczeństwa, które pozostaną skuteczne, odporne i godne zaufania w miarę coraz szerszego wdrażania AI.
