Co znajdziesz w tym artykule?
Wprowadzenie do problemu / definicja
Prompt injection to technika manipulowania systemami opartymi na dużych modelach językowych poprzez dostarczenie im spreparowanych instrukcji, które zmieniają ich oczekiwane działanie. W najnowszych scenariuszach zagrożenie nie kończy się już na wygenerowaniu błędnej odpowiedzi. Coraz częściej celem stają się autonomiczni agenci AI, którzy potrafią przeglądać internet, korzystać z narzędzi i inicjować działania transakcyjne, w tym płatności kryptowalutowe.
To istotna zmiana w krajobrazie ryzyka. Treść strony internetowej przestaje być wyłącznie informacją dla użytkownika i staje się potencjalnym kanałem sterowania zachowaniem modelu. Jeśli agent ma dostęp do portfela, API lub mechanizmów zakupowych, skutki takiej manipulacji mogą mieć bezpośredni wymiar finansowy i operacyjny.
W skrócie
Badacze opisali dwie kampanie wykorzystujące pośredni prompt injection umieszczony na złośliwych stronach internetowych. W jednym przypadku atakujący zastosowali zatruwanie wyników wyszukiwania, aby przechwycić zapytania dotyczące rzekomej biblioteki programistycznej i przekonać agenta AI do opłacenia dostępu API. W drugim scenariuszu użyto typosquattingu wobec znanej platformy DeFi, aby skłonić system do uznania fałszywej domeny za legalną usługę.
- Celem ataku były agenty AI zdolne do przeglądania sieci i wykonywania działań.
- Złośliwe instrukcje ukrywano w elementach HTML i metadanych.
- Część testowanych modeli dała się nakłonić do płatności lub błędnej oceny wiarygodności witryny.
- Zagrożenie dotyczy szczególnie środowisk łączących AI z finansami, API i automatyzacją procesów.
Kontekst / historia
Wraz z popularyzacją agentów AI zmienia się sposób postrzegania zagrożeń związanych z treścią internetową. Do tej pory strony WWW analizowano głównie z myślą o człowieku oraz klasycznych wektorach ataku, takich jak phishing, malware czy oszustwa finansowe. Dziś ta sama treść może zostać odczytana przez model jako kontekst roboczy lub źródło instrukcji wpływających na jego decyzje.
Opisane kampanie pokazują, że przestępcy zaczynają traktować indeksowane strony WWW jako warstwę sterowania dla systemów agentowych. To przesunięcie z ataku na użytkownika końcowego do ataku na sam mechanizm decyzyjny modelu. Problem staje się szczególnie poważny tam, gdzie agent uzyskuje możliwość przeglądania dokumentacji, rozwiązywania problemów technicznych, komunikacji z usługami zewnętrznymi lub realizowania działań finansowych.
Analiza techniczna
W pierwszej kampanii wykorzystano SEO poisoning do przechwytywania zapytań powiązanych z fałszywie promowaną biblioteką „requests-secure-v2”. Złośliwa witryna została nasycona słowami kluczowymi i przygotowana tak, aby pojawiać się wysoko w wynikach wyszukiwania dla pytań o instalację pakietu i rozwiązywanie problemów z zależnościami.
Najważniejszym elementem ataku były ukryte instrukcje przeznaczone nie dla człowieka, lecz dla agenta AI analizującego stronę. Polecenia osadzono między innymi w znacznikach schema markup oraz w ukrytych elementach HTML, takich jak bloki div. Instrukcje sugerowały, że jedynym sposobem rozwiązania problemu technicznego jest dokonanie płatności w celu uzyskania klucza API. Badacze wskazali również obecność kodu inicjującego transfer kryptowaluty do z góry określonego portfela.
Strona została zaprojektowana hybrydowo, tak aby oddziaływać zarówno na systemy AI, jak i na użytkowników. Po otwarciu w zwykłej przeglądarce prezentowała opcje płatności kartą i kryptowalutą, co sugeruje połączenie klasycznego oszustwa finansowego z manipulacją agentem autonomicznym.
Według opisu kampanii operator wykorzystywał także wiele repozytoriów GitHub odsyłających do podobnych witryn zawierających pośredni prompt injection. Taki model działania może zwiększać zasięg operacji oraz liczbę ścieżek, którymi agent lub użytkownik trafi na spreparowaną treść.
Druga kampania opierała się na typosquattingu i podszywaniu się pod znaną platformę z obszaru monitorowania portfeli DeFi. Złośliwa domena została zoptymalizowana pod kątem wyszukiwań związanych z marką, a jej tytuły, opisy i metadane miały imitować legalny serwis. W ukrytej warstwie instrukcji agent otrzymywał komunikat, że fałszywa witryna jest prawdziwą i zaufaną usługą.
Aby ocenić skuteczność tej techniki, badacze zbudowali autonomicznego agenta AI z możliwością przeglądania stron i realizowania płatności. W testach obejmujących 26 modeli cztery zostały zmanipulowane do wykonania płatności, a dwa błędnie sklasyfikowały oszukańczą stronę jako legalną platformę. Nie oznacza to, że wszystkie modele są podatne w takim samym stopniu, ale potwierdza istnienie nowej powierzchni ataku związanej z paradygmatem agentowym.
Konsekwencje / ryzyko
Najpoważniejszą konsekwencją jest przekształcenie treści internetowej w aktywny wektor wpływu na decyzje systemów AI. Jeśli agent ma możliwość inicjowania transakcji, korzystania z tożsamości użytkownika, wykonywania operacji na API lub pracy z danymi uprzywilejowanymi, skutki prompt injection mogą wykraczać daleko poza dezinformację.
Z perspektywy organizacji ryzyko obejmuje zarówno straty finansowe, jak i naruszenie integralności procesów automatyzacji. Błędne zaufanie do fałszywych domen może prowadzić do kompromitacji łańcucha dostaw oprogramowania, nieautoryzowanych płatności, uruchomienia niezatwierdzonych integracji oraz osłabienia kontroli nad środowiskiem operacyjnym.
- nieautoryzowane płatności i bezpośrednie straty finansowe,
- błędna klasyfikacja złośliwych usług jako zaufanych,
- naruszenie integralności procesów developerskich i operacyjnych,
- eskalacja ataku do łańcucha dostaw oprogramowania,
- nadużycie uprawnień przyznanych agentowi AI.
Szczególnie ryzykowne są środowiska półautonomiczne, w których człowiek zatwierdza rekomendacje agenta bez pełnej weryfikacji źródła i kontekstu. W takim modelu prompt injection może pełnić rolę phishingu nowej generacji, wymierzonego jednocześnie w użytkownika i w logikę działania modelu.
Rekomendacje
Organizacje wdrażające agentów AI powinny traktować zawartość stron WWW, dokumentacji, repozytoriów i wyników wyszukiwania jako niezaufane dane wejściowe. Ochrona musi obejmować zarówno sam model, jak i warstwę wykonawczą odpowiedzialną za narzędzia, płatności oraz integracje.
- ograniczyć uprawnienia agentów zgodnie z zasadą najmniejszych uprawnień,
- oddzielić przeglądanie treści od możliwości wykonywania działań finansowych,
- wymagać silnej autoryzacji człowieka dla płatności i operacji wysokiego ryzyka,
- wdrożyć filtrację ukrytych instrukcji w HTML, metadanych i znacznikach strukturalnych,
- stosować allowlisty domen dla logowania, API i zadań płatniczych,
- monitorować nietypowe zachowania agentów, zwłaszcza próby transferów i zmian źródeł zaufania,
- regularnie testować modele pod kątem odporności na indirect prompt injection,
- rozdzielać funkcje planowania, wnioskowania i egzekucji działań.
W praktyce bezpieczna architektura agentowa powinna zawierać mechanizmy egzekwowania polityk bezpieczeństwa, sandboxing narzędzi, kontrolę dostępu do portfeli oraz pełny audyt decyzji podejmowanych przez model. Każda instrukcja pochodząca z zewnętrznej treści powinna być traktowana jako potencjalnie wroga, dopóki nie przejdzie walidacji.
Podsumowanie
Opisane kampanie potwierdzają, że prompt injection przestaje być wyłącznie problemem jakości odpowiedzi modeli i staje się realnym zagrożeniem operacyjnym. Gdy agent AI potrafi przeglądać internet, interpretować treści i wykonywać akcje, złośliwie przygotowana witryna może przejąć wpływ na jego decyzje.
Dla zespołów bezpieczeństwa oznacza to konieczność rozszerzenia modeli zagrożeń o ataki wymierzone w agentów AI, zwłaszcza tam, gdzie automatyzacja łączy się z płatnościami, dostępem do API i działaniem na podstawie zewnętrznej treści. Im większa autonomia systemu, tym ważniejsze stają się kontrola uprawnień, walidacja źródeł oraz ścisły nadzór nad warstwą wykonawczą.
Źródła
- SecurityWeek — Prompt Injection Attacks Trick AI Agents Into Making Crypto Payments — https://www.securityweek.com/prompt-injection-attacks-trick-ai-agents-into-making-crypto-payments/
- Zscaler ThreatLabz — badania dotyczące indirect prompt injection i agentów AI — https://www.zscaler.com/