CREST uruchamia AI Charter: nowe zasady odpowiedzialnego wykorzystania sztucznej inteligencji w cyberbezpieczeństwie

Co znajdziesz w tym artykule?

1 Wprowadzenie do problemu / definicja
2 W skrócie
3 Kontekst / historia
4 Analiza techniczna
5 Konsekwencje / ryzyko
6 Rekomendacje
7 Podsumowanie
8 Źródła

Wprowadzenie do problemu / definicja

Rosnące wykorzystanie sztucznej inteligencji w usługach cyberbezpieczeństwa zwiększa tempo analizy danych, wspiera wykrywanie zagrożeń i automatyzuje część procesów raportowania. Jednocześnie rozwój tych narzędzi rodzi pytania o odpowiedzialność za wyniki, przejrzystość działania modeli oraz zakres nadzoru człowieka nad procesami wspieranymi przez AI.

W odpowiedzi na te wyzwania organizacja CREST uruchomiła inicjatywę AI Charter, czyli kartę zasad odpowiedzialnego stosowania AI w sektorze cyberbezpieczeństwa. To dobrowolna rama, która ma pomóc dostawcom usług budować zaufanie klientów i ujednolicać dobre praktyki w obszarze wykorzystania sztucznej inteligencji.

W skrócie

CREST ogłosił start AI Charter oraz zestawu zasad AI Principles jako branżowych wytycznych dla firm świadczących usługi cyberbezpieczeństwa z użyciem AI. Do inicjatywy przystąpiło ponad 60 organizacji założycielskich z 15 krajów.

Program ma promować odpowiedzialne i przejrzyste wykorzystanie AI w usługach cyber.
Kluczowe znaczenie mają transparentność, rozliczalność i nadzór człowieka.
Inicjatywa ma wspierać rozwój wspólnych standardów branżowych.
AI Charter odpowiada na rosnące oczekiwania klientów, partnerów i regulatorów.

Kontekst / historia

Sztuczna inteligencja odgrywa coraz większą rolę w nowoczesnych operacjach bezpieczeństwa. Obejmuje to analizę zagrożeń, wsparcie dla zespołów SOC, klasyfikację podatności, automatyzację dokumentacji oraz wspomaganie testów penetracyjnych. Wraz z dojrzewaniem tych rozwiązań klienci coraz częściej oczekują jasnych informacji o tym, gdzie dokładnie stosowana jest AI i kto odpowiada za końcowe decyzje.

CREST już wcześniej analizował wpływ AI na rynek usług cyberbezpieczeństwa, w tym na obszar pentestów. Z wcześniejszych obserwacji wynikało, że wykorzystanie AI staje się coraz powszechniejsze, ale najbardziej wrażliwe etapy nadal wymagają wiedzy eksperckiej oraz ludzkiego osądu. AI Charter wpisuje się więc w szerszy proces formalizacji zasad stosowania nowych technologii w usługach wysokiego zaufania.

Analiza techniczna

CREST AI Charter nie jest standardem technicznym w rozumieniu konkretnego produktu, narzędzia czy protokołu. To raczej model governance, który ma uporządkować sposób wdrażania i nadzorowania AI przez dostawców usług cyberbezpieczeństwa.

Inicjatywa opiera się na dziewięciu zasadach dotyczących m.in. odpowiedzialności, transparentności, dokumentowania użycia AI, audytowalności, walidacji wyników, nadzoru człowieka, kontroli danych oraz bezpiecznego rozwijania i utrzymania narzędzi opartych na sztucznej inteligencji.

Z technicznego punktu widzenia najważniejsze jest zapanowanie nad łańcuchem decyzyjnym. Jeżeli AI wspiera wykrywanie zagrożeń, ocenę podatności lub przygotowanie raportów, organizacja powinna być w stanie wykazać, jakie mechanizmy zostały użyte, jakie dane były przetwarzane, jak weryfikowano wyniki oraz gdzie kończy się automatyzacja, a zaczyna odpowiedzialność człowieka.

Identyfikacja modeli i narzędzi używanych w procesie usługi.
Dokumentowanie danych wejściowych i sposobów ich przetwarzania.
Walidacja jakości i poprawności wyników generowanych przez AI.
Wyznaczenie punktów kontrolnych wymagających decyzji eksperta.
Ochrona poufności danych klienta podczas korzystania z komponentów AI.

Ma to szczególne znaczenie w usługach takich jak testy penetracyjne, incident response czy threat intelligence. W tych obszarach błędna interpretacja wyniku przez model, halucynacje, niekontrolowane przetwarzanie danych lub brak ścieżki audytowej mogą prowadzić do realnych strat operacyjnych, reputacyjnych i prawnych.

Konsekwencje / ryzyko

Uruchomienie AI Charter pokazuje, że rynek cyberbezpieczeństwa przechodzi od eksperymentowania z AI do etapu budowania formalnych zasad jej stosowania. Dla dostawców usług oznacza to rosnącą presję na wykazanie, że automatyzacja nie obniża jakości usług ani nie osłabia kontroli nad danymi i procesami.

Najważniejsze ryzyka, które próbuje adresować inicjatywa, obejmują brak przejrzystości co do roli AI, trudności z ustaleniem odpowiedzialności za błędne rekomendacje, ryzyko ujawnienia danych przy korzystaniu z zewnętrznych modeli oraz brak wspólnych standardów dokumentacji i audytu.

Niejasna rola AI w świadczeniu usług bezpieczeństwa.
Problemy z rozliczalnością błędnych analiz i decyzji.
Ryzyko naruszenia poufności danych klienta.
Możliwość generowania mylących lub niezweryfikowanych wyników.
Niespójność praktyk między dostawcami i rynkami.

Dla klientów kupujących usługi cyberbezpieczeństwa oznacza to konieczność zadawania bardziej szczegółowych pytań technicznych i kontraktowych. Samo użycie AI przestaje być wyróżnikiem marketingowym, a staje się obszarem wymagającym oceny ryzyka.

Rekomendacje

Organizacje korzystające z usług cyberbezpieczeństwa wspieranych przez AI powinny wdrożyć bardziej rygorystyczne podejście do oceny dostawców. Kluczowe staje się nie tylko pytanie, czy AI jest używana, ale również w jakim zakresie, na jakich danych i pod czyją kontrolą.

Wymagać od dostawców jasnego opisu obszarów wykorzystania AI.
Oczekiwać informacji o walidacji wyników i zakresie nadzoru człowieka.
Sprawdzać zasady retencji, lokalizacji i przetwarzania danych.
Uwzględniać audytowalność i rozliczalność w zapisach umownych.
Klasyfikować usługi AI-enabled według poziomu ryzyka biznesowego.
Ocenić bezpieczeństwo całego łańcucha dostaw, w tym modeli i integracji stron trzecich.

Z kolei dostawcy usług powinni rozwijać formalne polityki governance dla AI, dokumentować użycie modeli, utrzymywać procedury testowania jakości wyników i zapewniać, że decyzje o wysokim wpływie pozostają pod kontrolą wykwalifikowanych specjalistów.

Podsumowanie

CREST AI Charter to ważny sygnał dla rynku, że odpowiedzialne wykorzystanie sztucznej inteligencji w cyberbezpieczeństwie wymaga wspólnych zasad, a nie wyłącznie indywidualnych praktyk poszczególnych firm. Inicjatywa nie rozwiązuje wszystkich problemów technicznych związanych z AI, ale tworzy podstawę do standaryzacji oczekiwań wobec dostawców usług bezpieczeństwa.

W praktyce może to przyspieszyć dojrzewanie rynku, zwiększyć zaufanie klientów i ograniczyć część ryzyk wynikających z niekontrolowanej automatyzacji. Dla całej branży to kolejny krok w kierunku bardziej przejrzystego i odpowiedzialnego modelu wdrażania AI w procesach cyberbezpieczeństwa.