Microsoft udostępnia RAMPART i Clarity jako open source do ochrony agentów AI

Wprowadzenie do problemu / definicja

Bezpieczeństwo agentów AI staje się jednym z najważniejszych obszarów współczesnego cyberbezpieczeństwa. W odróżnieniu od tradycyjnych aplikacji systemy agentowe nie tylko analizują dane wejściowe, ale również podejmują działania, korzystają z narzędzi, komunikują się z usługami zewnętrznymi i operują na informacjach o różnym poziomie zaufania. To tworzy nową kategorię zagrożeń, obejmującą między innymi pośrednie wstrzyknięcia promptów, nadużycia uprawnień, eksfiltrację danych oraz błędy architektoniczne.

W odpowiedzi na te wyzwania Microsoft udostępnił jako open source dwa narzędzia: RAMPART i Clarity. Ich celem jest wsparcie zespołów projektowych i bezpieczeństwa w budowaniu agentów AI z uwzględnieniem ochrony już od najwcześniejszych etapów cyklu życia oprogramowania.

W skrócie

RAMPART to framework testowy zbudowany natywnie wokół Pytest, służący do definiowania i wykonywania powtarzalnych testów bezpieczeństwa oraz odporności agentów AI. Clarity wspiera natomiast etap projektowania, pomagając zespołom identyfikować założenia, możliwe błędy i ryzyka jeszcze przed rozpoczęciem implementacji.

Oba projekty realizują ideę przesunięcia bezpieczeństwa „w lewo”, czyli włączenia kontroli ochronnych na wcześniejszych etapach tworzenia rozwiązań opartych na agentowej AI.

Kontekst / historia

W ostatnich miesiącach dyskusja o bezpieczeństwie AI przesunęła się z samego modelu językowego na szerszy ekosystem agentów. Agenci AI działają bowiem na styku modeli, pamięci, danych, integracji z zewnętrznymi usługami i narzędzi wykonawczych. To znacząco zwiększa powierzchnię ataku i utrudnia ocenę ryzyka przy użyciu klasycznych metod bezpieczeństwa aplikacyjnego.

Microsoft rozwijał wcześniej rozwiązania wspierające testowanie bezpieczeństwa AI, w tym narzędzia wykorzystywane do badań red-teamowych. Nowa inicjatywa wskazuje jednak na wyraźną zmianę podejścia: zamiast ograniczać się do jednorazowych ocen po wdrożeniu systemu, producent promuje model, w którym testy bezpieczeństwa są częścią codziennego procesu developmentu oraz pipeline’ów CI/CD.

Analiza techniczna

RAMPART, rozwijany jako Risk Assessment and Measurement Platform for Agentic Red Teaming, został zaprojektowany jako framework inżynierski do testowania bezpieczeństwa agentów. Pozwala on zapisywać scenariusze testowe jako powtarzalne przypadki obejmujące zarówno zachowania jednoznacznie złośliwe, jak i pozornie nieszkodliwe interakcje mogące prowadzić do niepożądanych skutków.

W praktyce oznacza to możliwość modelowania takich problemów, jak pośrednie przekazywanie nieufnych danych do kontekstu modelu, regresje zachowania po aktualizacji komponentów, nieautoryzowane ujawnienie informacji czy wykorzystanie narzędzi w sposób wykraczający poza założony zakres uprawnień.

• testowanie scenariuszy cross-prompt injection przez pliki, e-maile i strony WWW,
• wykrywanie zmian zachowania agenta po aktualizacjach,
• sprawdzanie ryzyka ujawnienia danych wrażliwych,
• ocena bezpieczeństwa działań wykonywanych przez agenta przy użyciu narzędzi.

Architektura RAMPART opiera się na adapterze łączącym konkretnego agenta z zestawem testów. Takie podejście ułatwia integrację z różnymi implementacjami agentów i pozwala uruchamiać testy w sposób zbliżony do klasycznego testowania aplikacji. Istotną zaletą jest też możliwość zamiany wniosków z red teamingu i wcześniejszych incydentów w testy regresyjne, co przekłada wiedzę operacyjną na praktyczne, uruchamialne artefakty.

Clarity odpowiada za wcześniejszy etap cyklu życia systemu. To narzędzie pomaga porządkować proces projektowania agentów AI poprzez doprecyzowanie intencji, analizę wariantów architektonicznych, identyfikację możliwych trybów awarii i dokumentowanie decyzji. Dzięki temu zespoły mogą wcześniej zauważyć niebezpieczne założenia, takie jak nadanie agentowi zbyt szerokiego dostępu do narzędzi, danych lub kanałów komunikacji.

Połączenie obu rozwiązań tworzy spójny model pracy: Clarity wspiera budowę bezpiecznych założeń projektowych, a RAMPART umożliwia ich późniejszą walidację w praktyce. W efekcie bezpieczeństwo agentów AI przestaje być jednorazowym przeglądem, a staje się procesem ciągłym.

Konsekwencje / ryzyko

Udostępnienie RAMPART i Clarity może istotnie wpłynąć na praktyki AppSec i AI security w organizacjach budujących własnych agentów. Najważniejszą konsekwencją jest operacjonalizacja bezpieczeństwa agentowego, czyli możliwość przekładania zagrożeń na konkretne testy, scenariusze awarii i mierzalne kontrole.

Dla firm oznacza to łatwiejsze wykrywanie błędów projektowych na wczesnym etapie, stałą kontrolę zmian zachowania po modyfikacjach oraz lepszą odtwarzalność incydentów. Jednocześnie same narzędzia nie rozwiązują wszystkich problemów. Nie zastępują zasad least privilege, segmentacji, kontroli dostępu do sekretów, monitoringu ani mechanizmów audytowych.

Szczególnie niebezpieczne pozostają scenariusze, w których agent łączy dostęp do wrażliwych danych z możliwością wykonywania operacji w systemach zewnętrznych. W takich przypadkach nawet drobny błąd logiczny lub manipulacja kontekstem może prowadzić do poważnych skutków biznesowych i bezpieczeństwa.

Rekomendacje

Organizacje rozwijające agentów AI powinny traktować bezpieczeństwo agentowe jako odrębny obszar inżynierski, a nie jedynie rozszerzenie klasycznych testów aplikacyjnych. W praktyce warto wdrożyć zestaw działań obejmujących zarówno proces projektowy, jak i etap testów oraz eksploatacji.

• włączyć testy bezpieczeństwa agentów do pipeline’ów CI/CD jako obowiązkowy element procesu wydawniczego,
• budować bibliotekę scenariuszy regresyjnych na podstawie wcześniejszych incydentów i wyników red teamingu,
• modelować źródła nieufnych danych, w tym dokumenty, pocztę elektroniczną, strony WWW i integracje z systemami zewnętrznymi,
• ograniczać uprawnienia agentów do absolutnego minimum,
• dokumentować granice zaufania, założenia projektowe i tryby awarii jeszcze przed implementacją,
• testować nie tylko odpowiedzi modelu, ale również działania wykonywane przez agenta w środowisku,
• zapewnić telemetrię, audyt decyzji i możliwość odtworzenia ścieżki wykonania podczas analizy incydentów.

Z perspektywy zespołów SOC i AppSec szczególnie ważne będzie rozszerzenie klasycznego threat modelingu o elementy specyficzne dla agentów AI, takie jak pamięć konwersacyjna, użycie narzędzi, delegowanie zadań czy przetwarzanie nieufnego kontekstu.

Podsumowanie

Publikacja RAMPART i Clarity jako projektów open source pokazuje, że bezpieczeństwo agentów AI staje się dojrzałym obszarem wymagającym własnych metod, narzędzi i praktyk. RAMPART wnosi do procesu rozwoju automatyzowalne testy bezpieczeństwa i odporności, a Clarity wspiera uporządkowanie decyzji architektonicznych jeszcze przed napisaniem kodu.

Razem narzędzia te wpisują się w model, w którym ochrona agentów nie jest jednorazową oceną po wdrożeniu, lecz zbiorem żywych artefaktów rozwijanych wraz z systemem. Dla organizacji inwestujących w agentową AI to wyraźny sygnał, że skuteczna obrona zaczyna się na etapie projektu, testów i kontroli granic zaufania.

Źródła

1. https://thehackernews.com/2026/05/microsoft-open-sources-rampart-and.html
2. https://www.microsoft.com/en-us/security/blog/2026/05/20/introducing-rampart-and-clarity-open-source-tools-to-bring-safety-into-agent-development-workflow/
3. https://www.microsoft.com/en-us/security/blog/2026/03/20/secure-agentic-ai-end-to-end/
4. https://opensource.microsoft.com/blog/2026/04/02/introducing-the-agent-governance-toolkit-open-source-runtime-security-for-ai-agents/