Wprowadzenie do problemu / definicja
Amerykańskie agencje bezpieczeństwa ostrzegły przed zorganizowanymi operacjami polegającymi na masowym pozyskiwaniu odpowiedzi i zdolności z zaawansowanych modeli sztucznej inteligencji opracowanych w USA. Chodzi o zjawisko określane jako distillation lub model extraction, w którym jeden model jest rozwijany na podstawie wyników generowanych przez inny system.
Sama technika nie jest nowa i nie zawsze ma charakter nielegalny, jednak w tym przypadku mowa o przemysłowej skali działań prowadzonych przez podmioty, które miały systematycznie wydobywać wartość intelektualną z komercyjnych modeli poprzez intensywne użycie interfejsów API i kont dostępowych.
W skrócie
- Sześć chińskich firm AI miało od końca 2024 roku prowadzić szeroko zakrojone kampanie ekstrakcji wiedzy z amerykańskich modeli granicznych.
- Celem operacji miało być skrócenie czasu rozwoju własnych systemów i przejęcie kompetencji takich jak rozumowanie, generowanie kodu oraz funkcje agentowe.
- Wśród obserwowanych technik wymieniono masowe użycie kont premium, rotację adresów IP, omijanie limitów oraz próby wydobywania pośrednich etapów rozumowania modeli.
Kontekst / historia
W ostatnich latach ochrona modeli AI zaczęła być traktowana nie tylko jako kwestia bezpieczeństwa aplikacji, ale również jako element ochrony strategicznych zasobów technologicznych. Dotychczas debata koncentrowała się głównie na prompt injection, wyciekach danych wejściowych, jailbreakach oraz nadużyciach użytkowników końcowych.
Obecnie coraz większego znaczenia nabiera jednak problem ekstrakcji modelu. W praktyce oznacza to odtwarzanie funkcjonalności systemu na podstawie bardzo dużej liczby odpowiedzi, bez potrzeby uzyskiwania bezpośredniego dostępu do wag modelu czy infrastruktury dostawcy. Jeśli takie kampanie rzeczywiście są prowadzone na szeroką skalę, oznacza to przejście od pojedynczych prób kopiowania zachowania modeli do dobrze finansowanych operacji o charakterze przemysłowym.
Analiza techniczna
Z technicznego punktu widzenia opisywany mechanizm przypomina zaawansowany model extraction attack. Atakujący nie muszą włamywać się do środowiska dostawcy. Wystarczy im zdolność do zadawania ogromnej liczby precyzyjnie przygotowanych pytań i gromadzenia odpowiedzi, które następnie stają się materiałem treningowym dla modeli wtórnych.
Kluczowym elementem takich kampanii jest skala. Mowa o milionach żądań i miliardach tokenów pozyskiwanych z popularnych modeli, co wymaga rozbudowanej automatyzacji, orkiestracji ruchu oraz systemów oceny jakości odpowiedzi. To nie jest zwykłe testowanie usługi, lecz trwała infrastruktura nastawiona na ciągłe zbieranie danych wyjściowych.
Szczególnie istotne są próby wydobywania chain-of-thought, czyli pośrednich etapów rozumowania modelu. Dla operatorów takich kampanii dane tego typu mają wyższą wartość niż sama odpowiedź końcowa, ponieważ mogą ujawniać strategie analizy problemu, schematy logiczne oraz wzorce decyzyjne. Model trenowany nie tylko na wynikach, ale również na strukturach rozumowania, może szybciej osiągać użyteczność w zadaniach wymagających planowania, kodowania i analizy.
Na uwagę zasługują także techniki maskowania aktywności. Wskazywano na wykorzystanie współdzielonych kont, rozproszonego ruchu kierowanego przez usługi pośredniczące oraz automatyczne przełączanie ścieżek dostępu w przypadku prób blokowania. To wzorzec dobrze znany z obszaru fraud detection, gdzie aktywność jest rozkładana na wiele tożsamości, adresów IP i sesji, aby ukryć anomalię. Dodatkowymi sygnałami ostrzegawczymi mają być aktywność 24/7, natychmiastowe wyczerpywanie limitów przez nowe konta oraz nienaturalnie wysoki stosunek subskrypcji do liczby zapytań.
Konsekwencje / ryzyko
Dla dostawców modeli AI ryzyko ma kilka wymiarów. Po pierwsze, może dochodzić do utraty przewagi konkurencyjnej bez konieczności naruszenia infrastruktury produkcyjnej. Po drugie, analiza odpowiedzi modelu może pomóc przeciwnikowi zrozumieć logikę działania zabezpieczeń oraz reakcję systemu na określone klasy zapytań. Po trzecie, koszty zasobożernych interakcji ponosi operator ofiary, który de facto finansuje rozwój konkurencyjnego rozwiązania.
Problem dotyczy również legalnych klientów korzystających z komercyjnych modeli. Bardzo intensywne użycie przez zespoły deweloperskie lub organizacje wdrażające automatyzację może czasami przypominać zachowania charakterystyczne dla ekstrakcji modelu. To oznacza, że dostawcy muszą coraz lepiej odróżniać rzeczywiste nadużycie od uzasadnionego, ale ponadprzeciętnie aktywnego wykorzystania usługi.
W szerszym ujęciu sprawa pokazuje, że bezpieczeństwo modeli generatywnych staje się częścią rywalizacji technologicznej i geopolitycznej. Ochrona API, kont użytkowników, limitów, telemetryki oraz mechanizmów antyautomatyzacyjnych staje się równie istotna jak ochrona kodu źródłowego czy danych treningowych.
Rekomendacje
Dostawcy modeli AI powinni wdrażać wielowarstwowe mechanizmy detekcji ekstrakcji, łączące analizę behawioralną, telemetrykę sesji oraz korelację wzorców zapytań. Same limity szybkości są niewystarczające, jeśli przeciwnik dysponuje dużą liczbą kont i infrastrukturą proxy.
- Monitorowanie współdzielenia kont między wieloma lokalizacjami, adresami IP i agentami użytkownika.
- Wykrywanie nienaturalnie ciągłego użycia bez przerw typowych dla pracy człowieka.
- Analiza świeżo utworzonych kont, które natychmiast generują bardzo intensywny ruch.
- Ograniczanie możliwości uzyskiwania odpowiedzi ujawniających pośrednie etapy rozumowania.
- Stosowanie adaptacyjnych kontroli dostępu zależnych od poziomu ryzyka sesji.
- Rozważenie mechanizmów obniżania jakości odpowiedzi dla podejrzanych kampanii, jeśli pozwala na to polityka bezpieczeństwa organizacji.
- Ścisła współpraca zespołów security, fraud, platform engineering oraz trust and safety w procesie reagowania na nadużycia.
Dla organizacji korzystających z zewnętrznych modeli równie ważne jest uporządkowanie dostępu do usług AI. Konta współdzielone, brak segmentacji użytkowników i ograniczona widoczność ruchu aplikacyjnego mogą utrudniać odróżnienie legalnej aktywności od zachowań, które z perspektywy dostawcy wyglądają jak próba ekstrakcji modelu.
Podsumowanie
Opisywana kampania pokazuje, że współczesne zagrożenia dla ekosystemu AI nie muszą polegać na kradzieży wag modelu ani klasycznym włamaniu do infrastruktury. Wystarczy długotrwałe, kosztowne i dobrze zautomatyzowane pozyskiwanie odpowiedzi na ogromną skalę.
Dla branży cyberbezpieczeństwa to wyraźny sygnał, że ochrona modeli AI musi obejmować nie tylko dane i systemy, ale również samą warstwę interakcji z modelem. W kolejnych latach odporność na ekstrakcję może stać się jednym z kluczowych wyznaczników bezpieczeństwa platform sztucznej inteligencji.
Źródła
- Security Affairs – US Agencies Warn Chinese AI Firms Are Extracting Advanced AI Models
https://securityaffairs.com/198770/security/us-agencies-warn-chinese-ai-firms-are-extracting-advanced-ai-models.html