Co znajdziesz w tym artykule?
Wprowadzenie do problemu / definicja
Rosnąca popularność narzędzi AI do generowania i wspomagania pisania kodu wyraźnie przyspiesza tempo dostarczania oprogramowania. Dla organizacji oznacza to większą produktywność zespołów developerskich, ale także nową klasę wyzwań po stronie cyberbezpieczeństwa. Kod tworzony lub współtworzony przez modele językowe zwiększa wolumen zmian, liczbę zależności i powierzchnię ataku szybciej, niż wiele firm jest w stanie skutecznie ocenić.
W praktyce punkt ciężkości ryzyka przesuwa się z samego procesu developmentu na etap walidacji, weryfikacji i nadzoru bezpieczeństwa. Problem nie polega wyłącznie na tym, że AI może wygenerować podatny fragment kodu, lecz także na tym, że organizacje muszą analizować znacznie więcej artefaktów w krótszym czasie.
W skrócie
Wyniki badań dotyczących wykorzystania AI-assisted coding pokazują, że przyspieszenie developmentu nie idzie w parze z analogicznym wzrostem zdolności zespołów AppSec do oceny ryzyka. W efekcie rośnie obciążenie procesów triage, ręcznej walidacji alertów i priorytetyzacji podatności.
- Najczęściej wskazywane zagrożenia to wyciek sekretów, ryzyko łańcucha dostaw oraz błędy logiki biznesowej.
- Zespoły bezpieczeństwa ostrożnie podchodzą do automatyzacji opartej na AI, zwłaszcza w krytycznych workflow.
- Kluczowe znaczenie mają audytowalność, ograniczony dostęp oraz możliwość kontroli działań narzędzi przed wdrożeniem zmian.
Kontekst / historia
Od 2023 roku generatywna AI stała się ważnym elementem środowisk programistycznych, a rozwój bardziej autonomicznych mechanizmów wspierających inżynierię oprogramowania dodatkowo zwiększył skalę wykorzystania takich narzędzi. Organizacje zaczęły produkować kod szybciej i częściej, co z biznesowego punktu widzenia jest korzystne, lecz z perspektywy bezpieczeństwa prowadzi do narastania długu kontrolnego.
Raport oparty na badaniu praktyków bezpieczeństwa z Ameryki Północnej i Europy Zachodniej wskazuje, że wzrost tempa developmentu jest powszechny, a duża część respondentów wiąże go bezpośrednio z użyciem AI. Jednocześnie bezpieczeństwo aplikacyjne pozostaje obszarem, w którym wydajność po stronie programistów nie została zrównoważona przez porównywalny wzrost możliwości oceny, walidacji i ograniczania ryzyka.
Analiza techniczna
Najważniejszym skutkiem ubocznym kodu generowanego przez AI nie jest jedynie większa liczba błędów, ale gwałtowny wzrost wolumenu zmian wymagających kontroli. Zespoły bezpieczeństwa muszą analizować więcej commitów, zależności i alertów z narzędzi takich jak SAST, SCA czy skanery sekretów, co zwiększa presję operacyjną.
Problem techniczny można rozpatrywać na kilku poziomach. Po pierwsze, modele AI często generują kod poprawny składniowo, ale niekoniecznie zgodny z architekturą bezpieczeństwa organizacji. W praktyce może to oznaczać błędne użycie mechanizmów uwierzytelniania, niewłaściwe zarządzanie sesją, luki autoryzacyjne lub pominięcie wymagań wynikających z logiki biznesowej. To właśnie takie błędy są szczególnie groźne, ponieważ nie muszą powodować awarii, a mimo to otwierają drogę do nadużyć.
Po drugie, rośnie ryzyko wycieku sekretów. Może ono wystąpić zarówno wtedy, gdy użytkownicy przekazują do narzędzi AI fragmenty wewnętrznego kodu lub wrażliwe dane kontekstowe, jak i wtedy, gdy model zwraca kod zawierający zahardkodowane klucze API, tokeny lub dane uwierzytelniające. To zagrożenie obejmuje więc zarówno dane wejściowe, jak i wygenerowane wyniki.
Po trzecie, zwiększa się ryzyko związane z łańcuchem dostaw. Narzędzia AI mogą proponować biblioteki i pakiety bez pełnego uwzględnienia ich reputacji, historii podatności czy zgodności z politykami organizacji. W środowisku szybkich wdrożeń łatwiej wtedy o dodanie komponentu obarczonego ryzykiem lub niedostatecznie zweryfikowanego.
Po czwarte, pogarsza się jakość sygnału. Coraz większa część pracy zespołów bezpieczeństwa sprowadza się do potwierdzania, czy wykrycia są rzeczywiste i czy mają znaczenie w konkretnym środowisku. To prowadzi do przeciążenia procesów triage: narzędzia generują więcej danych, ale niekoniecznie więcej użytecznej wiedzy. W rezultacie eksperci zamiast ograniczać ryzyko u źródła, poświęcają czas na ręczne budowanie dowodów eksploatowalności.
Istotny pozostaje też poziom zaufania do AI używanej już po stronie security. Specjaliści są gotowi korzystać z takich narzędzi między innymi w testach penetracyjnych czy analizie wyników, ale oczekują przejrzystości, pełnej audytowalności i możliwości zatrzymania lub zatwierdzenia działań przed wykonaniem operacji wysokiego ryzyka.
Konsekwencje / ryzyko
Dla organizacji problem nie sprowadza się tylko do wzrostu liczby podatności. Główne ryzyko polega na tym, że proces bezpieczeństwa zaczyna odstawać od tempa developmentu. Gdy zmiany trafiają do pipeline’ów szybciej, niż mogą zostać zweryfikowane, rośnie prawdopodobieństwo, że do środowiska produkcyjnego przedostaną się błędy projektowe, podatne zależności lub ujawnione sekrety.
- wzrost liczby podatności w aplikacjach i API,
- większe ryzyko incydentów wynikających z błędów autoryzacji i logiki biznesowej,
- ujawnienie danych wrażliwych przez niewłaściwe użycie narzędzi AI,
- przeciążenie zespołów AppSec i spadek skuteczności triage,
- opóźnienia operacyjne wynikające z ręcznej walidacji dużej liczby wykryć,
- osłabienie kontroli nad software supply chain.
Szczególnie niebezpieczne jest fałszywe poczucie bezpieczeństwa. Organizacje mogą zakładać, że skoro korzystają z większej liczby skanerów i automatyzacji, to poziom ryzyka pozostaje pod kontrolą. W praktyce przy gwałtownym wzroście liczby zmian i alertów skuteczność procesu może spadać, mimo rozbudowy stosu narzędziowego.
Rekomendacje
Firmy wdrażające AI-assisted coding powinny traktować ten model pracy jako zmianę architektury ryzyka, a nie jedynie jako ulepszenie warsztatu programistycznego. Oznacza to konieczność wdrożenia równocześnie kontroli technicznych, procesowych i organizacyjnych.
- Wprowadzić polityki bezpiecznego korzystania z narzędzi AI, obejmujące zakaz przekazywania sekretów, danych klientów i wrażliwego kodu bez odpowiednich zabezpieczeń.
- Zintegrować narzędzia AI z kontrolami dostępu opartymi na zasadzie najmniejszych uprawnień oraz segmentacją danych wejściowych.
- Egzekwować pełne ścieżki audytowe obejmujące prompty, kontekst, wygenerowane zmiany i decyzje akceptacyjne.
- Wymagać modelu human-in-the-loop dla zmian wysokiego ryzyka, szczególnie w obszarach uwierzytelniania, autoryzacji, kryptografii, płatności i danych wrażliwych.
- Rozszerzyć pipeline DevSecOps o skanowanie sekretów, SAST, SCA oraz kontrolę polityk dla zależności sugerowanych przez AI.
- Priorytetyzować narzędzia ograniczające szum i dostarczające dowody eksploatowalności zamiast generować kolejne alerty.
- Aktualizować wytyczne secure coding o wzorce błędów typowych dla kodu generowanego przez modele językowe.
- Prowadzić szkolenia dla developerów i zespołów bezpieczeństwa dotyczące ryzyka wycieku danych oraz ograniczeń modeli AI.
- Monitorować wpływ AI na metryki bezpieczeństwa, takie jak czas triage, czas remediacji, odsetek false positives i liczba zmian wymagających ręcznej walidacji.
Podsumowanie
Upowszechnienie AI w procesie tworzenia oprogramowania zwiększa produktywność, ale jednocześnie obnaża słabości istniejących procesów bezpieczeństwa. Najpoważniejsze zagrożenia obejmują wyciek sekretów, ryzyko łańcucha dostaw oraz błędy logiki biznesowej, których wykrycie wymaga głębszej analizy niż standardowa kontrola jakości kodu.
Wniosek dla rynku jest jednoznaczny: bezpieczeństwo nie może być biernym odbiorcą skutków automatyzacji programowania. Organizacje muszą budować kontrolę nad kodem generowanym przez AI poprzez audytowalność, ograniczenia dostępu, manualną walidację krytycznych zmian oraz skuteczniejsze mechanizmy priorytetyzacji ryzyka.
Źródła
- AI-written software creates hassles for wary security teams — https://www.cybersecuritydive.com/news/ai-coding-security-concerns-projectdiscovery/818319/
- The AI Code Deluge: Findings from security teams in the age of AI-assisted engineering — https://prmlr5xsxrsszjkq.public.blob.vercel-storage.com/The%20AI%20Code%20Deluge.pdf
- 2025 Oh Behave! The annual cybersecurity attitudes and behaviors report — https://www.staysafeonline.org/articles/oh-behave-2025/