Bezpečnostní hrozbou pro firmy nejsou pouze hackeři a další útočníci zvenčí. Významné riziko může podle advokáta Tomáše Ščerby představovat také běžné používání nástrojů umělé inteligence zaměstnanci. Pokud pracovníci využívají veřejně dostupné chatboty a další aplikace bez souhlasu zaměstnavatele, mohou do nich vložit obchodní tajemství, osobní údaje nebo jiné citlivé informace.
Ščerba, partner advokátní kanceláře DLA Piper, označuje tento jev jako Shadow AI. V rozhovoru pro Ekonomický deník uvedl, že jde o nekontrolované nebo zakázané používání umělé inteligence v rozporu s interními pravidly společnosti. Problém podle něj spočívá i v tom, že řada firem žádná dostatečně konkrétní pravidla pro práci s podobnými nástroji nemá.
Data mohou opustit kontrolu firmy
Uživatelé podle advokáta často nevědí, jakým způsobem generativní umělá inteligence s vloženými informacemi nakládá. Algoritmy data nejen ukládají, ale také je aktivně zpracovávají a začleňují do svých vnitřních struktur. U spotřebitelských verzí nástrojů mohou být vložené informace využity také k dalšímu trénování modelů.
Citlivé firemní údaje se tak podle Ščerby mohou nevratně stát součástí databází, které nejsou pod přímou kontrolou společnosti. V krajním případě by se podle něj mohly později objevit v odpovědi poskytnuté jinému uživateli. Takový scénář by mohl ohrozit obchodní tajemství, know-how nebo jiné informace, jejichž zveřejnění by firmě způsobilo finanční či konkurenční újmu.
Riziko se netýká jen technologické bezpečnosti. Ščerba upozornil také na možné porušení pravidel ochrany osobních údajů podle obecného nařízení známého jako GDPR. Pokud data opouštějí Evropský hospodářský prostor, musí být podle něj zajištěny odpovídající právní záruky. U některých nástrojů však firmy nemusí mít dostatečný přehled o tom, kde se data zpracovávají, kdo k nim má přístup a k jakému účelu jsou dále využívána.
Problém s dohledatelností zpracování
Podle advokáta zvyšuje právní nejistotu takzvaný black-box efekt velkých neuronových sítí. Uživatelé ani společnosti nemusí být schopni přesně zjistit, jak systém s vloženými údaji pracuje a jak se informace v jeho prostředí dále pohybují. Firmy pak mohou mít potíže doložit, kteří zpracovatelé měli k datům přístup, proč byla data zpracována a z jakého důvodu došlo k jejich předání.
Právě nedostatek těchto informací může podle Ščerby vést k rozporu s povinnostmi vyplývajícími z GDPR. Společnost, která umožní zaměstnancům používat veřejný nástroj bez jasných omezení a bez kontroly, nemusí být schopna prokázat, že s osobními údaji nakládala v souladu s právními předpisy. V případě incidentu by se navíc obtížně zjišťovalo, jaká data byla do systému vložena a co se s nimi následně stalo.
Většina organizací má podezření na nepovolené používání
Ščerba považuje Shadow AI za jeden z nejkritičtějších současných trendů v podnikání. Podle jeho vyjádření jde o největší bezpečnostní riziko, které se v posledních letech objevilo v oblasti nakládání s daty. Zároveň upozornil, že firmy zatím nedokážou plně zmapovat všechny možné následky používání umělé inteligence mimo schválené firemní systémy.
Na rozsah problému podle něj upozorňují také mezinárodní průzkumy. Jarní průzkum společnosti Gartner podle Ščerby ukázal, že 69 procent organizací má podezření nebo důkazy o tom, že jejich zaměstnanci využívají nepovolené veřejně dostupné nástroje generativní umělé inteligence. Údaj zahrnuje jak případy, kdy firmy používání těchto nástrojů pouze předpokládají, tak situace, kdy už pro ně mají konkrétní důkazy.
Gartner podle Ščerby zároveň předpovídá, že do roku 2030 zažije více než 40 procent podniků bezpečnostní nebo compliance incident související s neoprávněným využíváním umělé inteligence. Prognóza se týká incidentů vzniklých v důsledku používání AI bez potřebného oprávnění nebo mimo nastavené kontrolní mechanismy.
Firmy musí řešit pravidla i odpovědnost
Podle popsaného problému nestačí spoléhat pouze na ochranu před vnějšími útoky. Společnosti musí vědět, jaké AI nástroje zaměstnanci používají, jaká data do nich zadávají a za jakých podmínek poskytovatelé s těmito údaji nakládají. Důležitou součástí prevence je také nastavení interních pravidel, která jasně určují, které aplikace jsou povolené a jaké informace do nich nelze vkládat.
Z vyjádření advokáta vyplývá, že samotný zákaz bez další kontroly nemusí problém vyřešit. Zaměstnanci mohou po nástrojích umělé inteligence sahat kvůli rychlejší tvorbě textů, analýze dokumentů nebo jiným úkolům. Pokud firma neposkytne bezpečnou a schválenou alternativu, může se používání takzvané Shadow AI přesunout mimo její dohled.
Riziko podle Ščerby spočívá právě v kombinaci snadné dostupnosti těchto služeb a nedostatečné informovanosti uživatelů. Jediný zaměstnanec může podle jeho varování vystavit firmu ztrátě obchodního tajemství, porušení povinností při ochraně osobních údajů i významné finanční škodě. Umělá inteligence se tak z nástroje pro zvýšení produktivity může stát také kanálem, kterým citlivá data opustí kontrolované prostředí společnosti.
