← Wróć do aktualności
The Register - Security30 cze 2026 · 2 min czytania

Badacze twierdzą, że znaczniki ról w LLM mogą być nadużywane do omijania zabezpieczeń przed wstrzykiwaniem poleceń

Badacze bezpieczeństwa opisali nowy sposób wprowadzania dużych modeli językowych w błąd, aby ignorowały granice bezpieczeństwa, poprzez wykorzystanie sposobu, w jaki modele interpretują prompty oparte...

Badacze bezpieczeństwa opisali nowy sposób wprowadzania dużych modeli językowych w błąd, aby ignorowały granice bezpieczeństwa, poprzez wykorzystanie sposobu, w jaki modele interpretują prompty oparte na rolach. Badanie sugeruje, że obecne mechanizmy ochrony przed wstrzykiwaniem poleceń pozostają podatne, ponieważ modele mogą nie zawsze niezawodnie odróżniać zaufane instrukcje od wrogiego tekstu.

Badanie, przygotowane przez niezależnych badaczy Charlesa Ye i Jasmine Cui wraz z Dylanem Hadfieldem-Menellem, profesorem nadzwyczajnym MIT, opisano w artykule zatytułowanym Prompt Injection as Role Confusion, który ma zostać zaprezentowany na konferencji ICML 2026. Autorzy twierdzą, że współczesne LLM w dużej mierze opierają się na tekstowych etykietach, takich jak system, user, assistant, tool i think, aby rozdzielać instrukcje i zarządzać zachowaniem, jednak etykiety te nie są bezpiecznie egzekwowane wewnątrz samego modelu.

Według badaczy modele często wywnioskują role na podstawie powierzchownych wskazówek, takich jak styl pisania, zamiast na podstawie zaufanych metadanych. Otwiera to drogę do ataków naśladujących wewnętrzne rozumowanie lub inne uprzywilejowane formaty. W jednej z demonstracji wykorzystali technikę, którą nazywają fałszowaniem łańcucha rozumowania (Chain of Thought Forgery), aby prompty wyglądały tak, jakby model wcześniej przeanalizował i zatwierdził żądanie.

Badacze twierdzą, że w testach porównawczych metoda znacząco podniosła wskaźniki powodzenia ataków w porównaniu ze zwykłymi próbami jailbreaku. Twierdzą również, że podejście to przenosiło się między modelami bardziej niezawodnie niż wiele istniejących technik wstrzykiwania poleceń, ponieważ jest wymierzone w słabość strukturalną, a nie opiera się na specyficznych cechach pojedynczego modelu.

Dlaczego ten problem ma znaczenie

  • Znaczniki ról są kluczowym elementem sposobu, w jaki LLM rozdzielają zaufany i niezaufany tekst.
  • Atakujący mogą być w stanie wstrzykiwać wprowadzające w błąd treści za pośrednictwem promptów lub dokumentów.
  • Wyniki testów porównawczych mogą zawyżać odporność w rzeczywistych warunkach, jeśli nie uwzględniają adaptacyjnych testów prowadzonych przez ludzi.
  • Badacze twierdzą, że silniejsze zabezpieczenia mogą wymagać głębszego przeprojektowania sposobu, w jaki modele rozumieją role i uprawnienia.

Autorzy artykułu dochodzą do wniosku, że wstrzykiwanie poleceń prawdopodobnie nie zniknie w ramach obecnego modelu bezpieczeństwa. Ich zdaniem branża może potrzebować nowych metod, które pozwolą modelom bardziej niezawodnie rozpoznawać autorytet i granice, zamiast nadal łatać pojedyncze techniki wykorzystania podatności w miarę ich pojawiania się.

Udostępnij ten artykuł:TwitterLinkedIn