Co znajdziesz w tym artykule?
Wprowadzenie do problemu / definicja
Agentic AI to nowa klasa systemów sztucznej inteligencji, które nie tylko generują odpowiedzi, ale również samodzielnie realizują zadania, podejmują sekwencyjne decyzje, korzystają z narzędzi i integrują się z systemami organizacji. Tego rodzaju autonomia zwiększa potencjał biznesowy, ale jednocześnie rozszerza powierzchnię ataku i podnosi poziom ryzyka operacyjnego.
W odpowiedzi na rosnące znaczenie takich wdrożeń brytyjskie NCSC opublikowało wytyczne dotyczące bezpiecznego wykorzystania agentic AI. Dokument koncentruje się na kontroli uprawnień, nadzorze nad działaniem agentów, monitorowaniu aktywności oraz przygotowaniu procedur awaryjnych.
W skrócie
Najnowsze zalecenia wskazują, że organizacje wdrażające agentic AI powinny przed uruchomieniem systemu jasno określić właściciela rozwiązania, model autoryzacji, sposób monitorowania działań agenta, procedury reagowania na incydenty oraz mechanizmy natychmiastowego zatrzymania.
- Im większa autonomia agenta, tym większa potrzeba silnych zabezpieczeń operacyjnych.
- Agentic AI należy traktować jak uprzywilejowaną warstwę automatyzacji.
- Kluczowe znaczenie mają segmentacja dostępu, pełna obserwowalność i zasada najmniejszych uprawnień.
- Wysokiego ryzyka działania powinny podlegać kontroli człowieka.
Kontekst / historia
W ostatnim czasie wiele organizacji przeszło od eksperymentów z generatywną AI do wdrażania agentów zdolnych do wykonywania zadań w systemach biznesowych, środowiskach chmurowych i procesach operacyjnych. Ta zmiana oznacza również zmianę modelu ryzyka. Wcześniej główne obawy dotyczyły poufności danych, integralności modeli, prompt injection czy bezpieczeństwa łańcucha dostaw.
W przypadku agentic AI dochodzi jednak nowy wymiar zagrożeń: możliwość wykonywania realnych działań w imieniu użytkownika lub organizacji. Właśnie dlatego nowe zalecenia NCSC są rozwinięciem wcześniejszych wytycznych secure by design dla systemów AI i rozszerzają je o scenariusze, w których model nie tylko analizuje dane, ale aktywnie wpływa na środowisko produkcyjne.
Analiza techniczna
Z perspektywy bezpieczeństwa agentic AI należy traktować jak wysoko uprzywilejowany komponent automatyzacji. Taki agent może korzystać z interfejsów API, kont serwisowych, systemów workflow, repozytoriów danych, narzędzi DevOps, poczty elektronicznej, a nawet elementów infrastruktury. Oznacza to, że klasyczne kontrole bezpieczeństwa stają się jeszcze ważniejsze niż w tradycyjnych wdrożeniach AI.
Najważniejsze obszary ryzyka technicznego obejmują nadmierne uprawnienia, słabą segmentację dostępu, podatność na manipulację wejściem, niekontrolowane wykonywanie poleceń w systemach zewnętrznych oraz brak pełnego logowania działań i decyzji agenta.
- nadmierne uprawnienia przyznane agentowi lub jego integracjom,
- brak separacji zadań i niewystarczającą segmentację dostępu,
- prompt injection i skażenie kontekstu wejściowego,
- niekontrolowane wykonywanie akcji w systemach zewnętrznych,
- ograniczoną możliwość audytu i przypisania odpowiedzialności,
- ryzyko niezamierzonych zmian w danych, konfiguracji i procesach.
NCSC zwraca szczególną uwagę na potrzebę zdefiniowania odpowiedzialności operacyjnej jeszcze przed wdrożeniem systemu. W praktyce oznacza to wskazanie właściciela usługi, zespołu monitorującego, osób zatwierdzających dostęp oraz jasnej ścieżki eskalacji incydentów.
Równie istotna jest obserwowalność. Bez pełnego rejestrowania wejść, wywołań narzędzi, użytych źródeł danych, odpowiedzi systemów zależnych i końcowych skutków biznesowych analiza incydentu może być bardzo utrudniona. Dotyczy to zwłaszcza środowisk, w których agent podejmuje wiele działań w krótkim czasie.
Wytyczne podkreślają także rolę kontroli zmian. Modyfikacja modelu, promptów systemowych, polityk narzędziowych lub źródeł danych może zasadniczo zmienić zachowanie agenta. Z tego powodu agentic AI powinno podlegać testom regresyjnym, kontroli wersji i formalnym procedurom zatwierdzania zmian.
Konsekwencje / ryzyko
Źle zabezpieczony agent AI może stać się punktem eskalacji uprawnień, źródłem wycieku danych lub narzędziem do wykonywania nieautoryzowanych operacji. Ryzyko nie ogranicza się wyłącznie do błędnej odpowiedzi modelu, ale obejmuje realne skutki jego działań w systemach organizacji.
Na poziomie technicznym konsekwencją może być utrata integralności danych, zakłócenie ciągłości działania lub nieautoryzowana zmiana konfiguracji. Na poziomie operacyjnym rośnie problem rozliczalności, szczególnie gdy agent działa szybko i jednocześnie na wielu systemach. Na poziomie zgodności pojawiają się pytania o audyt, odpowiedzialność i możliwość odtworzenia przebiegu incydentu.
- dostęp do wielu systemów bez zasady najmniejszych uprawnień,
- możliwość wykonywania operacji finansowych lub administracyjnych,
- przetwarzanie danych wrażliwych bez odpowiednich barier,
- brak człowieka w pętli przy zadaniach wysokiego ryzyka,
- nieograniczony zakres narzędzi i integracji.
W takich warunkach nawet pojedynczy błąd logiczny, zmanipulowany prompt lub nieprawidłowa integracja może doprowadzić do efektu kaskadowego. Problemem nie jest wyłącznie możliwość pomyłki modelu, ale fakt, że taka pomyłka może zostać natychmiast wykonana w środowisku produkcyjnym.
Rekomendacje
Organizacje planujące wdrożenie agentic AI powinny traktować takie systemy jako element wysokiego ryzyka i objąć je kontrolami podobnymi do tych, które stosuje się wobec kont uprzywilejowanych, krytycznych integracji API i narzędzi administracyjnych.
- Wyznaczenie odpowiedzialności – należy formalnie wskazać właściciela usługi, operatora, zespół monitorujący oraz osoby uprawnione do zatwierdzania dostępu i zatrzymywania agenta.
- Zasada najmniejszych uprawnień – agent powinien otrzymywać wyłącznie minimalny zakres dostępu potrzebny do wykonania konkretnego zadania.
- Człowiek w pętli – operacje dotyczące finansów, bezpieczeństwa, tożsamości, danych wrażliwych i infrastruktury powinny wymagać jawnej autoryzacji człowieka.
- Pełne logowanie i monitoring – konieczne jest rejestrowanie wejść, promptów, wywołań narzędzi, decyzji pośrednich i skutków wykonanych działań.
- Mechanizm awaryjnego zatrzymania – organizacja powinna dysponować prostym i przetestowanym sposobem natychmiastowego wstrzymania działania agenta.
- Kontrola zmian – każda modyfikacja modelu, polityk, uprawnień i konektorów powinna przechodzić przegląd bezpieczeństwa oraz procedurę testów i rollbacku.
- Ochrona przed manipulacją wejściem – warto wdrożyć walidację danych wejściowych, filtrowanie kontekstu i separację źródeł zaufanych oraz niezaufanych.
- Ocena dostawców – korzystanie z zewnętrznych modeli i platform agentowych wymaga analizy bezpieczeństwa usług oraz warunków przetwarzania danych.
- Testy scenariuszowe i red teaming – przed uruchomieniem produkcyjnym należy przeprowadzić symulacje nadużyć, przejęcia tokenów, eskalacji dostępu i manipulacji promptem.
Podsumowanie
Publikacja nowych wytycznych NCSC pokazuje, że autonomiczne systemy AI są coraz częściej traktowane jako odrębna kategoria ryzyka cyberbezpieczeństwa. Nie wystarcza już ochrona samego modelu czy danych wejściowych. Równie ważne staje się to, co agent może zrobić, do czego ma dostęp, kto odpowiada za jego działanie i jak szybko można go zatrzymać w razie incydentu.
Dla organizacji oznacza to konieczność przejścia od fazy eksperymentów do dojrzałego modelu governance. Agentic AI może znacząco zwiększyć efektywność procesów, ale tylko wtedy, gdy jego autonomia zostanie zrównoważona przez rygorystyczne zabezpieczenia techniczne i operacyjne.
Źródła
- NCSC Publishes Guidance on Securing Agentic AI Use — https://www.infosecurity-magazine.com/news/ncsc-publishes-guidance-securing/
- Guidelines for secure AI system development — https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development
- Secure operation and maintenance | National Cyber Security Centre — https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development/guidelines/secure-operation-maintenance
- NSA Launches Guidance for Secure AI Deployment — https://www.infosecurity-magazine.com/news/nsa-launches-guidance-secure-ai/