Pochodzenie modeli AI pod lupą: Cisco ostrzega przed ukrytym łańcuchem zależności

Wprowadzenie do problemu / definicja

Ocena bezpieczeństwa modeli sztucznej inteligencji w wielu organizacjach nadal opiera się na nazwie producenta, kraju pochodzenia lub marce dostawcy. Cisco zwraca jednak uwagę, że taki sposób analizy bywa mylący, ponieważ nowy model może powstać na bazie istniejących wag, checkpointów lub wcześniejszych rodzin modeli. W praktyce oznacza to, że system sygnowany przez inny podmiot może dziedziczyć cechy techniczne, ograniczenia, uprzedzenia, a nawet potencjalne ryzyka po swoim poprzedniku.

Z perspektywy cyberbezpieczeństwa nie wystarczy więc odpowiedź na pytanie, kto opublikował model. Równie ważne staje się ustalenie, z jakich komponentów został zbudowany, jakie relacje łączą go z wcześniejszymi systemami oraz czy odziedziczył po nich niepożądane właściwości.

W skrócie

Cisco ostrzega, że etykieta kraju pochodzenia modelu AI nie daje pełnego obrazu jego rzeczywistego rodowodu technicznego. Problem wynika z powszechnego wykorzystania fine-tuningu, trenowania wtórnego i budowania nowych modeli na bazie już istniejących checkpointów.

modele downstream mogą zachowywać wykrywalne cechy modeli upstream,
post-training nie zawsze usuwa ślady po modelu źródłowym,
ryzyka związane z AI coraz bardziej przypominają klasyczny problem łańcucha dostaw oprogramowania,
organizacje powinny badać pochodzenie modeli, a nie tylko deklaracje dostawców.

Kontekst / historia

W świecie tradycyjnego oprogramowania ryzyko zależności od lat analizuje się przez pryzmat komponentów użytych do budowy produktu. Temu celowi służy między innymi SBOM, czyli zestawienie składników oprogramowania. W obszarze AI sytuacja jest bardziej skomplikowana, ponieważ zależności nie zawsze są jawne i często pozostają zakodowane bezpośrednio w wagach modelu oraz jego zachowaniu podczas inferencji.

Cisco opisuje to zjawisko jako problem splątanego pochodzenia modeli. Organizacja może formalnie wykluczyć określoną rodzinę modeli z powodów regulacyjnych, operacyjnych lub bezpieczeństwa, a jednocześnie wdrożyć inny system, który pośrednio się z niej wywodzi. To zmienia sposób myślenia o ryzyku: sama jurysdykcja wydawcy czy marketingowa identyfikacja produktu nie wystarczają już do wiarygodnej oceny bezpieczeństwa.

Analiza techniczna

W swoim podejściu badacze Cisco skupili się na relacjach między rodzinami modeli Nemotron i Qwen, wskazując, że część modeli może korzystać z bazowych wag wcześniejszych systemów. W analizie zastosowano dwa komplementarne podejścia: inspekcję artefaktu modelu oraz fingerprinting behawioralny, czyli badanie charakterystycznych wzorców odpowiedzi widocznych podczas działania modelu.

Taka metoda pozwala identyfikować pokrewieństwo nawet wtedy, gdy zmieniono nazwę produktu, producenta lub warstwę prezentacyjną. Jeżeli model downstream został opracowany na podstawie checkpointu upstream, może zachować cechy statystyczne i semantyczne swojego źródła. Dotyczy to nie tylko stylu odpowiedzi, ale również ograniczeń, błędów systemowych czy podatności na określone klasy nadużyć.

Kluczowym wnioskiem jest to, że proces dostrajania nie musi skutecznie zamazywać śladów po modelu bazowym. Otwiera to drogę do tworzenia narzędzi kontrolnych przypominających mechanizmy znane z bezpieczeństwa łańcucha dostaw oprogramowania. Zamiast opierać się wyłącznie na deklaracjach producenta, organizacje mogą rozwijać procedury weryfikacji rodowodu modeli, testy zachowania oraz mapowanie zależności między rodzinami systemów AI.

W szerszej perspektywie potrzebne może być także podejście zbliżone do model bill of materials. Taki zestaw informacji powinien obejmować nie tylko model bazowy, lecz także checkpointy źródłowe, metody derivacji, główne zbiory danych, modele nauczycielskie, mechanizmy reward oraz podmioty mające dostęp do systemu po wdrożeniu. To właśnie taka widoczność może w przyszłości stać się podstawą do realnej oceny ryzyka.

Konsekwencje / ryzyko

Najpoważniejsze zagrożenie polega na założeniu, że nowa marka oznacza nowy profil bezpieczeństwa. Jeżeli model źródłowy zawierał niepożądane wzorce działania, określone podatności, tendencyjność lub ukryte mechanizmy wpływające na odpowiedzi, model pochodny może je częściowo przejąć. Dla organizacji oznacza to ryzyko błędnej klasyfikacji systemu jako bezpiecznego lub zgodnego z politykami wewnętrznymi.

Problem ma także wymiar operacyjny. Zespoły bezpieczeństwa mogą nie być świadome rzeczywistych zależności technologicznych, przez co proces dopuszczania modeli do środowisk produkcyjnych staje się niepełny. W przypadku wykrycia incydentu dotyczącego modelu bazowego konieczne może być szybkie zidentyfikowanie wszystkich wdrożeń pochodnych, które potencjalnie odziedziczyły to samo ryzyko.

Nie mniej istotny jest aspekt zgodności i audytu. Jeśli organizacja ma obowiązek wykazać pochodzenie komponentów AI, sama etykieta produktu może nie spełnić wymagań kontrolnych. Dla działów procurement, governance i compliance oznacza to potrzebę głębszego due diligence, obejmującego pochodzenie wag, relacje treningowe oraz metody fine-tuningu.

Rekomendacje

Organizacje wdrażające modele AI powinny traktować nazwę dostawcy wyłącznie jako jeden z elementów oceny ryzyka. Pełniejsza analiza powinna obejmować również pochodzenie modelu, jego zależności treningowe oraz zachowanie obserwowane w testach przedwdrożeniowych.

wymagać od dostawców ujawniania rodowodu modeli i głównych zależności technologicznych,
prowadzić testy bezpieczeństwa, odporności i stabilności zachowania przed wdrożeniem,
utrzymywać wewnętrzny rejestr modeli AI wraz z wersjami, źródłami i zastosowaniami,
monitorować aktualizacje modeli oraz zmiany w endpointach inferencyjnych,
ograniczać zakres danych i uprawnień dostępnych dla modeli o podwyższonym ryzyku,
łączyć ocenę compliance z techniczną analizą rodowodu systemu.

Warto także przygotować procedury reagowania na incydenty związane z modelami bazowymi. Jeśli nowe ustalenia dotyczące jednej rodziny modeli będą miały wpływ na systemy pochodne, organizacja powinna być w stanie szybko ustalić skalę ekspozycji i podjąć działania ograniczające ryzyko.

Podsumowanie

Wnioski płynące z analiz Cisco są istotne dla całego rynku bezpieczeństwa AI. Modele nie powinny być oceniane wyłącznie przez pryzmat producenta, marki czy kraju pochodzenia, ponieważ ich rzeczywisty profil ryzyka może wynikać z odziedziczonych wag, zachowań i zależności treningowych. To przesuwa dyskusję z poziomu deklaracji dostawcy na poziom technicznej weryfikacji rodowodu.

Dla przedsiębiorstw oznacza to potrzebę dojrzalszego podejścia do zarządzania łańcuchem dostaw AI. W nadchodzących latach przejrzystość pochodzenia modeli może stać się jednym z najważniejszych warunków bezpiecznego i zgodnego wdrażania sztucznej inteligencji.