Badacz bezpieczeństwa Daniel Fox Franke twierdzi, że zautomatyzowane mechanizmy bezpieczeństwa w zamkniętej usłudze AI wielokrotnie uniemożliwiały mu użycie systemu do badania awarii związanych z otwartoźródłowym narzędziem ripgrep. Ostatecznie zwrócił się do modeli o otwartych wagach, aby kontynuować analizę.
Franke powiedział The Register, że prace rozpoczęły się po tym, jak ripgrep wielokrotnie ulegał awarii podczas długiej sesji Codex. Poprosił agenta o zbadanie błędu, w tym sposobu, w jaki ripgrep i biblioteka C musl obsługiwały alokację pamięci. Klasyfikator cyberbezpieczeństwa OpenAI oznaczył kilka wynikających z tego zapytań, zwłaszcza tych dotyczących odtworzenia awarii i analizy sterty.
Według Franke'a zawęził zadanie i wyraźnie polecił systemowi skupić się na analizie kodu źródłowego, a nie na odtwarzaniu awarii lub badaniu plików core. Klasyfikator mimo to nadal blokował odpowiedzi. Franke powiedział, że bazowy model GPT-5.6 Sol wydawał się skłonny pomóc, lecz odrębny system filtrowania przerywał wymianę.
Dodał również, że nie próbował korzystać z modeli Anthropic, ponieważ spodziewał się, iż ich ograniczenia będą bardziej wyraźne. Komunikaty o błędach OpenAI kierowały go do programów Trusted Access dla badaczy bezpieczeństwa, lecz nie podjął procesu weryfikacji. Opisał go jako uciążliwy i stwierdził, że otwarte modele pozostają praktyczną alternatywą.
Otwarte modele zapewniły różny poziom wsparcia
Franke wykorzystał podczas dochodzenia modele Kimi K3 firmy Moonshot AI oraz GLM-5.2 firmy Z.ai. Przypisał K3 zasługę za wskazanie dowodów, że problem może dotyczyć jądra Linux, jednocześnie określając część jego późniejszego rozumowania jako niewiarygodną i skłonną do niepopartych wniosków. GLM-5.2 następnie przeanalizował tę pracę i pomógł zbudować to, co Franke uznał za mocniejsze uzasadnienie techniczne.
Badacz podkreślił, że dochodzenie jest niekompletne. Uważa, że awarie są spowodowane defektem jądra, i zidentyfikował możliwy błąd jądra, ale nie ustalił, że podejrzewany defekt odpowiada za błędy ripgrep. Powiedział, że obecnie nie ma poprawki, a problem nie wydaje się możliwy do wykorzystania przez atakujących.
Ten przypadek uwypukla utrzymujące się napięcie w narzędziach AI dla bezpieczeństwa: zabezpieczenia mające ograniczać pomoc dla atakujących mogą również utrudniać legalne debugowanie i badania podatności. Franke argumentował, że niedostępne lub niewspółpracujące narzędzia mogą skłaniać badaczy do korzystania z systemów o otwartych wagach, w których zachowanie modeli można bezpośredniej analizować i dostosowywać.
