AI nástroje dnes vývojářům pomáhají psát kód, hledat chyby i automatizovat rutinní práci. Bez jasných pravidel ale mohou do firmy přinést rizika spojená s únikem dat, oprávněními, kvalitou kódu nebo požadavky enterprise klientů. V článku vysvětlíme, na co si dát pozor a jak používání AI nastavit bez zbytečné byrokracie.
Co se v článku dozvíte:
- Jaká bezpečnostní rizika přináší používání AI při vývoji softwaru
- Proč se na využívání AI stále častěji ptají enterprise klienti
- Co by měla obsahovat AI Usage Policy
- Jak začlenit AI do bezpečného vývojového procesu
- Jak začít s bezpečným používáním AI bez zbytečné byrokracie
- Jak během několika minut zjistit, zda máte používání AI ve firmě pod kontrolou
AI ve vývoji překročila fázi experimentů
AI se stala běžnou součástí vývoje softwaru. Nástroje jako ChatGPT, GitHub Copilot, Cursor nebo Gemini dnes pomáhají při psaní kódu, hledání chyb i automatizaci rutinních úkolů.
Ve většině firem se ale používání těchto nástrojů rozšířilo rychleji, než firmy stihly nastavit způsob jejich bezpečného využívání. Vedení často nemá přehled o tom, kdo používá jaký AI nástroj, jaká data do něj vkládá nebo jak jsou výstupy kontrolovány. Největší riziko nepředstavuje samotná AI, ale chybějící přehled a jasně nastavená pravidla.
To se začíná promítat i do požadavků klientů. Nehodnotí už jen výsledný software, ale také způsob jeho vývoje. Zajímá je, jak dodavatel pracuje s daty, přístupy a bezpečností. Pouhé tvrzení, že „bezpečnost řešíme“, většinou nestačí.
Jaká rizika přináší AI při vývoji softwaru
AI dokáže vývoj výrazně urychlit. Současně ale otevírá otázky, které mohou ovlivnit bezpečnost i důvěru zákazníků.
Mezi nejčastější bezpečnostní rizika používání AI při vývoji softwaru patří:
- Sdílení citlivých dat v AI nástrojích – osobní údaje, produkční data nebo přihlašovací údaje se mohou nevědomky dostat do promptů.
- Nejasná pravidla pro práci se zdrojovým kódem – není vždy určeno, kdo může zdrojový kód sdílet s AI a za jakých podmínek.
- Bezpečnost AI generovaného kódu – výstupy AI mohou obsahovat chyby nebo bezpečnostní zranitelnosti a vyžadují kontrolu.
- Příliš široká oprávnění AI agentů – agenti mohou získat přístup k systémům nebo datům, které ke své práci nepotřebují.
- Shadow AI – zaměstnanci používají neschválené AI nástroje bez vědomí organizace, která nad nimi ztrácí kontrolu.
Citlivá data a přihlašovací údaje v promptech
AI nástroje zpracovávají informace, které jim uživatel zadá. Pokud se mezi nimi objeví například produkční data, osobní údaje nebo interní dokumentace, firma ztrácí kontrolu nad tím, jak je s těmito informacemi dále nakládáno. K podobným situacím přitom nemusí docházet úmyslně, často vznikají při běžné práci.
Typickým příkladem je řešení chyby v aplikaci. Vývojář potřebuje rychle najít příčinu problému, a proto do veřejného AI nástroje vloží část logu, databázového výpisu nebo úryvek zdrojového kódu. Spolu s nimi ale může nevědomky sdílet i citlivé informace, které měly zůstat uvnitř organizace.
Nejasné nakládání se zdrojovým kódem
Zdrojový kód představuje know-how firmy i jejích zákazníků. Přesto často není jasně určeno, kdo jej může do AI nástrojů vkládat a za jakých podmínek.
Významnou roli hraje také to, zda vývojář používá firemní nebo soukromý účet. Zatímco u firemních účtů má organizace přehled o používaných nástrojích a může nastavovat pravidla jejich používání, u soukromých účtů tuto možnost zpravidla nemá.
Používání AI navíc mohou omezovat i smluvní podmínky se zákazníkem. Sdílení klientského zdrojového kódu s externím AI nástrojem proto nemusí být vždy přípustné.
Bezpečnost AI generovaného kódu
AI dokáže během několika sekund navrhnout řešení nebo napsat část zdrojového kódu. To ale neznamená, že je výstup automaticky správný. Stejně jako každý jiný kód může obsahovat chyby nebo bezpečnostní zranitelnosti.
Odpovědnost za výsledný software zůstává vždy na vývojáři. Nástroj může práci urychlit, kvalitu ani bezpečnost výsledného řešení ale negarantuje. Výstupy vytvořené pomocí AI by proto měly projít stejným code review, testováním a bezpečnostními kontrolami jako jakýkoliv jiný kód.
Příliš široká oprávnění AI agentů
Při nasazení AI agentů je potřeba rozhodnout, jaká oprávnění jim firma svěří. Pokud agent převezme stejná oprávnění jako vývojář, může získat přístup do testovacího i produkčního prostředí nebo provádět administrátorské operace. Ve většině případů ale ke své práci takto široký přístup nepotřebuje.
Stejně jako u zaměstnanců by proto i zde měl platit princip nejnižších oprávnění. Každý agent by měl mít pouze takové přístupy, které jsou nezbytné pro konkrétní úkol.
Shadow AI
Vývojáři chtějí využívat nástroje, které jim usnadní práci. Pokud firma nenabídne schválené AI řešení, často si najdou vlastní cestu. Založí si soukromý účet, zaplatí předplatné vlastní platební kartou a začnou nástroj používat bez vědomí organizace.
Firma pak ztrácí přehled o tom, jaké AI nástroje se ve vývoji používají, jaká data do nich zaměstnanci vkládají nebo zda vůbec prošly posouzením bezpečnostních rizik. Chybí také možnost centrální správy, logování a nastavení jednotných pravidel.
Naše zkušenosti ukazují, že samotný zákaz používání AI tento problém neřeší. Účinnější je nabídnout vývojářům bezpečnou alternativu a nastavit pravidla pro její používání.
Co po vás mohou chtít enterprise klienti
Pro řadu enterprise klientů už dnes nestačí, že dodavatel vytvoří kvalitní software. Stále častěji se zajímají také o způsob jeho vývoje a o to, jak firma přistupuje k bezpečnosti během celého procesu.
Zákazníci chtějí rozumět tomu, zda má organizace používání AI pod kontrolou. Mohou se ptát na používané nástroje, pravidla pro jejich využívání nebo na to, jak firma chrání klientská data a zdrojový kód.
Pozornost věnují také tomu, jak bezpečný vývoj probíhá v praxi. Klient může chtít vědět, zda výsledný software prochází code review a bezpečnostními testy nebo jak firma postupuje při řešení bezpečnostních incidentů.
Schopnost tento přístup srozumitelně popsat a doložit se stává důležitou součástí obchodní důvěry a může rozhodnout o úspěchu ve výběrovém řízení.
Co má obsahovat AI Usage Policy
Jakmile firma začne AI používat napříč vývojovým týmem, vyplatí se stanovit společná pravidla. Nemusí jít o desítky stran interní dokumentace. Pro většinu organizací je mnohem přínosnější krátká AI Usage Policy, které rozumí vývojáři i vedení a která odpovídá na nejčastější situace z praxe.
AI Usage Policy by měla definovat:
- Povolené a zakázané AI nástroje – které nástroje lze používat a za jakých podmínek.
- Pravidla pro práci s daty – jaké informace se do AI nástrojů nesmí vkládat.
- Odpovědnost za výstupy AI – kdo je kontroluje, schvaluje a odpovídá za jejich bezpečnost.
- Kontrolu a dohledatelnost – jak doložit využití AI při auditu nebo řešení bezpečnostního incidentu.
Povolené a zakázané nástroje
Je potřeba určit, které AI nástroje jsou ve firmě schválené a jak probíhá proces schválení nových. Součástí by mělo být také vymezení, zda mohou zaměstnanci používat vlastní účty nebo zda je práce s AI možná pouze prostřednictvím firemních účtů.
Data, která se s AI nesdílejí
Stejně důležité je vymezit informace, které není možné do AI nástrojů vkládat. Typicky jde o osobní údaje, produkční data, obchodní tajemství, přihlašovací údaje nebo klientský zdrojový kód bez souhlasu zákazníka.
Odpovědnost za výstup AI
Dokument by měl stanovit, kdo odpovídá za výstupy vytvořené pomocí AI a jak probíhá jejich schvalování. Součástí procesu by mělo být také code review, testování a bezpečnostní kontroly před jejich nasazením.
Kontrola a dohledatelnost
Pro případ auditu nebo bezpečnostního incidentu je důležité mít přehled o tom, jak byla AI při vývoji využita. K tomu slouží logování, uchování výsledků kontrol i jasně stanovený postup při řešení incidentů.
Jak zapojit AI do bezpečného vývojového procesu
Používání AI nevyžaduje nové bezpečnostní procesy. Stačí ji začlenit do stávajícího vývojového cyklu a zachovat stejné kontrolní mechanismy.
AI by měla být součástí každé fáze bezpečného vývojového procesu:
- Návrh – rozhodněte, kde bude AI využívána a s jakými daty nebo oprávněními může pracovat.
- Vývoj a build – ověřujte AI generovaný kód stejnými kontrolami jako ostatní změny.
- Testování a nasazení – provádějte standardní bezpečnostní testy před uvedením do produkce.
- Provoz – monitorujte využívání AI, spravujte oprávnění a reagujte na nově vznikající bezpečnostní rizika.
Návrh
První rozhodnutí o využívání AI by mělo být součástí návrhu řešení. Vedle běžného posouzení rizik je vhodné určit, kde bude AI využívána a s jakými daty nebo oprávněními může pracovat.
Vývoj a build
Použití AI nemění způsob, jakým firma ověřuje kvalitu a bezpečnost vznikajícího kódu. Výstupy vytvořené s její pomocí proto prochází stejnými kontrolami jako ostatní změny, od review přes statickou analýzu až po kontrolu přihlašovacích údajů (secrets), používaných knihoven a jejich závislostí.
Testování a nasazení
Ani při testování AI nepředstavuje výjimku. Výsledná aplikace by měla projít stejnými kontrolami jako jakýkoliv jiný software. Podle charakteru projektu může jít například o dynamické testování, penetrační testy nebo kontrolu před uvedením do produkce.
Provoz
Po uvedení do provozu se AI stává součástí běžné správy aplikace, která zahrnuje monitoring, sledování nově objevených zranitelností, řešení bezpečnostních incidentů i pravidelnou kontrolu používaných nástrojů a jejich oprávnění.
Jak začít bez zbytečné byrokracie
Bezpečné používání AI nemusí znamenat rozsáhlou směrnici ani nový projekt. Začněte několika praktickými kroky, které vám pomohou získat přehled a nastavit základní pravidla.
- Zjistěte, jaké AI nástroje tým skutečně používá: Přehled o používaných nástrojích je základem pro další rozhodování.
- Zmapujte, jaká data do AI zaměstnanci vkládají: Zaměřte se především na osobní údaje, produkční data, zdrojový kód nebo přihlašovací údaje.
- Sepište stručnou AI Usage Policy: Dokument by měl vymezit schválené nástroje, pravidla pro práci s daty i způsob schvalování výstupů vytvořených pomocí AI.
- Nastavte odpovědnost za AI výstupy: Každý by měl vědět, kdo odpovídá za jejich kontrolu, schválení a nasazení.
- Zaveďte povinné review AI generovaného kódu: Každý kód vytvořený pomocí AI by měl před nasazením projít kontrolou jiného vývojáře.
- Omezte oprávnění AI agentů: Přidělujte jim pouze takové přístupy, které skutečně potřebují.
- Zapojte automatizované bezpečnostní kontroly: Výstupy vytvořené pomocí AI by měly procházet stejnými bezpečnostními kontrolami jako ostatní změny.
- Uchovávejte výsledky kontrol a schválení v nástrojích, které už používáte: V případě auditu nebo požadavku zákazníka můžete jednoduše doložit, jak vývoj probíhal.
Rychlý checklist pro CTO a vedení firmy
Odpovězte si na následující otázky:
- Víme, jaké AI nástroje naši vývojáři používají?
- Máme seznam schválených AI nástrojů?
- Víme, jaká data se do nich vkládají?
- Procházejí výstupy vytvořené pomocí AI kontrolou?
- Máme jasně nastavená oprávnění AI agentů?
- Dokážeme používání AI doložit klientovi nebo auditorovi?
- Víme, kdo řeší případný bezpečnostní incident?
Pokud jste u některé otázky odpověděli ne, právě tato oblast může představovat vhodný výchozí bod pro bezpečnější využívání AI ve vývoji.
Bezpečné používání AI začíná přehledem
AI se stala běžnou součástí vývoje softwaru a její význam bude dál růst. Cílem proto není její používání omezovat nebo zakazovat, ale mít nad ním přehled a pravidla. Firma by měla vědět, jaké nástroje vývojáři používají, jaká data do nich vkládají, kdo odpovídá za jejich výstupy a jaké bezpečnostní kontroly jsou součástí vývoje.
Pokud jsou tato pravidla přirozeně začleněná do stávajícího vývojového procesu, AI se může stát bezpečným pomocníkem.
Nevíte, jaké AI nástroje se ve vašem vývoji skutečně používají, kdo za ně odpovídá a co byste dnes ukázali enterprise klientovi? Security Reality Check vám pomůže získat přehled o bezpečnosti, procesech a prioritách dalších kroků.
