Co znajdziesz w tym artykule?
Wprowadzenie do problemu / definicja
Rozwój modeli generatywnych coraz mocniej wpływa na praktykę cyberbezpieczeństwa, w tym na offensive security, czyli kontrolowane wykrywanie i weryfikację podatności z perspektywy atakującego. Najnowsze testy modelu Mythos Preview wskazują, że systemy AI zaczynają osiągać coraz lepsze wyniki w analizie kodu źródłowego, identyfikacji potencjalnych słabości oraz wspieraniu procesu budowy ścieżek eksploatacji.
Wyniki pokazują jednak również wyraźną granicę tych możliwości. Sama zdolność modelu do rozumienia kodu nie zastępuje walidacji w działającym środowisku, gdzie o realnym ryzyku decydują także konfiguracja, zależności i sposób wdrożenia aplikacji.
W skrócie
Mythos Preview został oceniony w scenariuszach obejmujących analizę kodu, wykrywanie podatności w aplikacjach open source, walidację exploitów oraz bezpieczeństwo działań podejmowanych przez agenty AI. Najlepsze wyniki model osiągał tam, gdzie miał dostęp do kodu źródłowego i mógł prowadzić precyzyjną analizę techniczną.
- Model szczególnie dobrze radzi sobie z audytem kodu źródłowego.
- Wykazuje lepszą skuteczność w identyfikowaniu kandydatów na podatności niż wcześniejsze modele.
- Gorzej wypada w obszarach wymagających szerszej oceny kontekstu operacyjnego.
- Największą wartość daje połączenie analizy kodu z kontrolowaną interakcją z realnym środowiskiem testowym.
Kontekst / historia
Testy zostały przeprowadzone przez zespół XBOW, który uzyskał wczesny dostęp do Mythos Preview w celu oceny jego przydatności w zastosowaniach offensive security. Do badania wykorzystano własny benchmark oparty na aplikacjach open source zamrożonych w wersjach zawierających wcześniej odkryte podatności, co pozwoliło porównywać skuteczność modelu w powtarzalnych warunkach.
Zakres oceny był szerszy niż w klasycznych benchmarkach dla modeli językowych. Obejmował między innymi jakość threat modelingu, zdolność do weryfikacji podatności, bezpieczeństwo wykonywanych komend oraz zastosowanie modelu w analizie kodu natywnego i reverse engineeringu. Istotnym elementem metodologii było też porównanie pracy modelu jako samodzielnego API z jego wykorzystaniem w środowisku wyposażonym w narzędzia, prompty i dostęp do żywego celu testowego.
Analiza techniczna
Najmocniejszą stroną Mythos Preview okazała się analiza kodu źródłowego pod kątem bezpieczeństwa. Model nie tylko skutecznie wskazywał potencjalne miejsca podatne na nadużycia, ale również trafnie interpretował logikę aplikacji, przepływy danych oraz punkty, w których mogło dochodzić do naruszenia założeń bezpieczeństwa.
W testach związanych z wykrywaniem podatności webowych zauważono spadek liczby przeoczonych problemów względem wcześniejszych modeli, zwłaszcza w scenariuszach, w których dostępny był pełny kod źródłowy. To sugeruje, że Mythos Preview dobrze sprawdza się na etapie analizy statycznej lub półstatycznej, zanim jeszcze dojdzie do pełnej interakcji z celem.
Jednocześnie wyniki pokazały, że sama analiza kodu nie wystarcza do wiarygodnego potwierdzenia exploitable condition. W praktyce wiele podatności ujawnia się dopiero na styku kodu, konfiguracji środowiska, zależności bibliotek i sposobu uruchomienia aplikacji. Ograniczenie modelu wyłącznie do kodu pogarszało więc jego zdolność do potwierdzania realnej wykonalności ataku.
Interesująco wypadły także testy związane z judgment, czyli jakością oceny sytuacji przez model. W niektórych zadaniach, takich jak bezpieczeństwo komend czy triage śladów, system potrafił działać precyzyjnie, ale bywał zbyt literalny i zachowawczy. To oznacza, że przy dobrze zdefiniowanych regułach radzi sobie skutecznie, lecz może pomijać przypadki wymagające szerszej interpretacji kontekstu.
Dodatkowo model pokazał mocne kompetencje w analizie kodu natywnego oraz reverse engineeringu. W scenariuszach obejmujących komponenty niskopoziomowe i bardziej złożone modele zagrożeń osiągał lepsze wyniki niż wcześniejsze punkty odniesienia, ograniczając liczbę fałszywych alarmów i trafniej wskazując rzeczywiste błędy.
Konsekwencje / ryzyko
Z perspektywy rynku cyberbezpieczeństwa wyniki te mają podwójne znaczenie. Z jednej strony rośnie praktyczna użyteczność AI w audytach bezpieczeństwa, red teamingu i analizie dużych baz kodu. Modele takie jak Mythos Preview mogą przyspieszać pracę specjalistów AppSec, poprawiać pokrycie analizy i szybciej wskazywać nieoczywiste słabości.
Z drugiej strony ten sam postęp zwiększa ryzyko nadużyć. Narzędzia zdolne do sprawniejszego wyszukiwania błędów, analizowania logiki aplikacji i wspierania budowy exploitów mogą zostać wykorzystane nie tylko w autoryzowanych testach, ale również przez podmioty działające ofensywnie bez zgody właściciela systemu.
Istotnym zagrożeniem pozostaje także nadmierne zaufanie do wyników modelu. Jeśli organizacja potraktuje wskazania AI jako ostateczne, może zarówno przeoczyć realne luki, jak i poświęcić zasoby na analizę fałszywych tropów. Największą wartość model daje więc jako narzędzie generujące jakościowe leady, które muszą zostać sprawdzone przez człowieka i odpowiednie procedury walidacyjne.
Rekomendacje
Organizacje wdrażające AI do procesów offensive security powinny traktować model jako akcelerator pracy analityka, a nie pełny substytut eksperta. Najlepsze rezultaty daje wykorzystanie takich systemów do wsparcia rozpoznania, priorytetyzacji i dokumentowania ustaleń technicznych.
- Wykorzystywać model do analizy kodu źródłowego i szybkiego wskazywania obszarów wysokiego ryzyka.
- Budować z pomocą AI hipotezy dotyczące ścieżek ataku i możliwych wektorów eksploatacji.
- Wspierać triage wyników oraz priorytetyzację testów manualnych.
- Dokumentować ustalenia techniczne dla zespołów deweloperskich i bezpieczeństwa.
Każde wykrycie powinno jednak przechodzić etap walidacji w środowisku testowym lub w ramach kontrolowanej interakcji z celem. W praktyce oznacza to konieczność utrzymania bezpiecznej orkiestracji agentów, rejestrowania działań, definiowania granic testu oraz stosowania zasad bezpiecznego wykonywania komend.
- Oddzielać środowiska testowe AI od systemów produkcyjnych.
- Wymagać modelu human-in-the-loop przy działaniach aktywnych.
- Kontrolować uprawnienia i dostęp do kodu źródłowego.
- Niezależnie potwierdzać podatności przed ich eskalacją lub zgłoszeniem.
- Monitorować jakość odpowiedzi modelu pod kątem false positive i false negative.
Dla zespołów deweloperskich i AppSec rozsądnym podejściem pozostaje łączenie modeli AI z klasycznymi metodami, takimi jak SAST, DAST, code review, fuzzing oraz testy integracyjne bezpieczeństwa. AI może wyraźnie zwiększać produktywność, ale największą skuteczność osiąga jako element wielowarstwowego procesu bezpieczeństwa.
Podsumowanie
Testy Mythos Preview pokazują, że modele AI wchodzą w nową fazę użyteczności dla offensive security. Szczególnie silne kompetencje w analizie kodu źródłowego, wykrywaniu kandydatów na podatności oraz pracy z technicznymi szczegółami sprawiają, że takie systemy stają się wartościowym wsparciem dla specjalistów bezpieczeństwa.
Jednocześnie wyniki podkreślają, że realna eksploatowalność podatności nie wynika wyłącznie z kodu i nadal wymaga walidacji w działającym środowisku. W praktyce oznacza to, że przyszłość offensive security będzie coraz bardziej oparta na współpracy człowieka, agentów AI i kontrolowanej automatyzacji testów.
Źródła
- BleepingComputer — XBOW tests Anthropic’s Mythos Preview for offensive security — https://www.bleepingcomputer.com/news/security/xbow-tests-anthropics-mythos-preview-for-offensive-security/
- Anthropic — Project Glasswing — https://www.anthropic.com/
- XBOW — Official website — https://xbow.com/