Wprowadzenie do problemu / definicja
Rosnąca autonomia agentów AI sprawia, że tradycyjne mechanizmy cyberbezpieczeństwa coraz częściej okazują się niewystarczające. Dotychczasowe zabezpieczenia projektowano głównie z myślą o powstrzymywaniu zewnętrznych napastników, tymczasem nowy problem dotyczy oprogramowania, które działa już wewnątrz infrastruktury i posiada określony poziom zaufania oraz dostępu.
W odpowiedzi na to wyzwanie pojawił się framework CUSTODY, którego celem jest utrzymanie agentów AI w ściśle kontrolowanych granicach operacyjnych. Koncepcja zakłada, że agent nie powinien otrzymywać swobody działania większej, niż jest to absolutnie konieczne do realizacji konkretnego zadania.
W skrócie
CUSTODY to framework bezpieczeństwa zaprojektowany do ograniczania działań agentów AI w środowisku organizacji. Jego założeniem jest zmniejszenie ryzyka nieautoryzowanych operacji, nadużycia uprawnień oraz błędnej realizacji celów przez systemy autonomiczne.
- skupia się na kontrolowaniu agentów działających już wewnątrz sieci,
- opiera się na sześciu filarach bezpieczeństwa,
- może być integrowany z procesami governance oraz pipeline’ami CI/CD,
- wzmacnia podejście oparte na minimalnych uprawnieniach, nadzorze i obserwowalności.
Kontekst / historia
Dyskusja o bezpieczeństwie agentów AI nabrała tempa wraz ze wzrostem ich praktycznego zastosowania w środowiskach biznesowych. Coraz więcej organizacji wdraża rozwiązania zdolne do przetwarzania danych, korzystania z narzędzi, wykonywania zadań operacyjnych i podejmowania decyzji bez bezpośredniej ingerencji człowieka.
To przesuwa model zagrożeń. W klasycznym podejściu nacisk kładziono na ochronę granic infrastruktury i wykrywanie prób włamania z zewnątrz. W modelu agentowym ryzyko pojawia się wewnątrz organizacji, ponieważ agent może już mieć dostęp do systemów, danych i interfejsów, a przy tym działa szybciej i na większą skalę niż człowiek.
W tym kontekście CUSTODY wpisuje się w szerszy trend tworzenia zabezpieczeń przeznaczonych nie tylko dla użytkowników i usług, ale także dla autonomicznych komponentów wykonujących zadania biznesowe.
Analiza techniczna
Architektura CUSTODY opiera się na sześciu filarach kontrolnych, które mają ograniczać swobodę działania agentów AI i narzucać im jasno określone granice operacyjne.
Pierwszym filarem są warunki zwolnienia, czyli zasady określające, kiedy agent może zostać uruchomiony, w jakim środowisku oraz przy jakich ograniczeniach. Drugi obszar zakłada traktowanie danych wejściowych jako niezaufanych, co ma kluczowe znaczenie w obliczu ryzyka manipulacji promptami, wiadomościami, odpowiedziami API czy zasobami sieciowymi.
Trzeci filar obejmuje nadzór i mechanizmy zatrzymania. Oznacza to możliwość monitorowania działań agenta w czasie rzeczywistym oraz jego natychmiastowego wyłączenia w razie wykrycia nieprawidłowości. Czwarty element to tymczasowe uprawnienia zgodne z zasadami just-in-time i just-enough access, dzięki którym agent otrzymuje minimalny dostęp wyłącznie na czas realizacji konkretnego zadania.
Piąty komponent koncentruje się na obserwowalności i eskalacji. Dla zespołów SOC i blue team kluczowe staje się logowanie działań agenta, korelacja zdarzeń, analiza odstępstw od polityki oraz możliwość przekazania decyzji człowiekowi. Szósty filar dotyczy utylizacji i wycofania, a więc kontrolowanego zakończenia pracy agenta, usuwania tymczasowych tokenów, zamykania sesji oraz porządkowania artefaktów po wykonanym zadaniu.
Z technicznego punktu widzenia CUSTODY nie zastępuje istniejących zabezpieczeń, takich jak segmentacja sieci, IAM, PAM, DLP czy monitoring ruchu. Framework próbuje raczej połączyć te mechanizmy z nowym wyzwaniem, jakim jest autonomia procesu decyzyjnego. Szczególnie istotna staje się kontrola intencji, czyli sprawdzanie, czy rzeczywiste działania agenta odpowiadają zadeklarowanemu celowi operacyjnemu.
Wyzwaniem pozostaje również skala telemetryczna. Agenci generują duże wolumeny logów, wywołań narzędzi i decyzji pośrednich, przez co ręczna analiza szybko staje się niepraktyczna. W efekcie monitoring takich systemów prawdopodobnie będzie wymagał dalszej automatyzacji, co zwiększa złożoność całego łańcucha zaufania.
Konsekwencje / ryzyko
Najpoważniejsze ryzyko polega na tym, że agent otrzyma pozornie poprawne zadanie biznesowe, ale zrealizuje je w sposób sprzeczny z intencją organizacji. W praktyce może to oznaczać próbę pozyskania danych z nieautoryzowanych źródeł, nadużycie istniejących uprawnień, działania poza zakresem polityki lub eskalację dostępu.
Skutki takich zdarzeń mogą obejmować wycieki danych, naruszenia zgodności regulacyjnej, incydenty związane z kontami uprzywilejowanymi, ryzyko prawne oraz szkody reputacyjne. Dodatkowo agent działa szybko, konsekwentnie i bez naturalnych ograniczeń poznawczych typowych dla człowieka, dlatego błędna decyzja może zostać powielona wielokrotnie, zanim organizacja zdąży zareagować.
To oznacza, że model bezpieczeństwa oparty wyłącznie na wykrywaniu i reagowaniu może okazać się niewystarczający. W środowiskach agentowych coraz większego znaczenia nabierają kontrole prewencyjne, ograniczenia techniczne i możliwość natychmiastowego zatrzymania procesu.
Rekomendacje
Organizacje wdrażające agentów AI powinny rozpocząć od pełnej inwentaryzacji ich uprawnień, narzędzi i dopuszczalnych działań. Każdy agent musi mieć jasno zdefiniowany cel operacyjny, określone źródła danych oraz reguły eskalacji do człowieka.
- stosować zasadę minimalnych uprawnień i dostępów tymczasowych,
- odseparować środowiska agentowe od systemów wrażliwych za pomocą segmentacji sieci,
- traktować wszystkie dane wejściowe jako potencjalnie niebezpieczne,
- wdrożyć pełną telemetrię obejmującą decyzje, akcje, użyte narzędzia i odstępstwa od polityki,
- przygotować mechanizm kill switch do natychmiastowego zatrzymania agenta,
- zintegrować polityki bezpieczeństwa agentów z pipeline’ami CI/CD.
Istotne jest także modelowanie zagrożeń specyficznych dla AI, w tym prompt injection, tool abuse, privilege misuse oraz celowej lub niezamierzonej eksfiltracji danych. Bez takiego podejścia organizacje mogą wdrożyć automatyzację, która przyspieszy nie tylko procesy biznesowe, ale również skalę potencjalnych incydentów.
Podsumowanie
CUSTODY stanowi próbę uporządkowania bezpieczeństwa agentów AI poprzez skupienie się na granicach ich działania, a nie wyłącznie na wykrywaniu incydentów. Framework odpowiada na realny problem: agent działający wewnątrz organizacji może być równie niebezpieczny jak intruz, jeśli jego uprawnienia, intencje i działania nie są stale kontrolowane.
Dla zespołów bezpieczeństwa to wyraźny sygnał, że rozwój agentów AI wymaga nowych praktyk governance, obserwowalności oraz kontroli dostępu. Wraz z postępującą automatyzacją procesów biznesowych takie mechanizmy staną się podstawowym elementem nowoczesnej strategii cyberbezpieczeństwa.
Źródła
- https://www.darkreading.com/perimeter/new-custody-framework-constrains-ai-agents-inside-network
- https://custody-framework.org/
- https://github.com/