Nový právní rámec pro využívání umělé inteligence ve firemních procesech

Proč se firmy musejí připravit právě teď

Využívání AI ve firmách už dávno není jen otázka inovace, ale také compliance. Evropské regulace dopadají na nástroje, které generují texty, analyzují data, rozhodují o kandidátech nebo podporují zákaznický servis. Největší změna spočívá v tom, že firmy už nemohou AI používat „na vlastní riziko“ bez dokumentace, řízení dat a jasně definované odpovědnosti.

V praxi to znamená, že i běžné scénáře jako generování marketingových textů v ChatGPT, automatické třídění ticketů v helpdesku nebo prediktivní scoring leadů mohou vyžadovat interní pravidla. Podle typu použití může být nutné prověřit, zda nedochází ke zpracování osobních údajů, zda je zachována transparentnost vůči uživatelům a zda AI nezasahuje do práv zaměstnanců nebo zákazníků.

Co přináší nový právní rámec a jaké oblasti zasahuje

Nejdůležitějším milníkem je evropský AI Act, který zavádí přístup založený na riziku. Ne všechny AI systémy jsou regulovány stejně: jiné povinnosti platí pro nízkorizikové nástroje, jiné pro systémy s vysokým rizikem, například v oblasti HR, vzdělávání, úvěrového hodnocení nebo kritické infrastruktury. Pro firmy je klíčové pochopit, do jaké kategorie jejich nástroje spadají.

AI Act doplňuje existující pravidla, zejména GDPR, zákoník práce, ochranu spotřebitele a pravidla pro nekalé obchodní praktiky. To je zásadní: nový rámec AI nefunguje izolovaně, ale vrství se na už existující povinnosti. Pokud například marketingový tým používá AI pro personalizaci nabídky, musí řešit nejen regulaci AI, ale i právní titul pro zpracování dat, cookies, profilování a informační povinnost.

  • Zakázané použití – například některé formy manipulativních nebo podvodných praktik.
  • Vysoce rizikové systémy – typicky HR, rozhodování o přijetí do zaměstnání, přístupu ke službám nebo posuzování bonity.
  • Transparentní použití – zejména když uživatel komunikuje s AI chatbotem nebo je obsah uměle generovaný.
  • Obecné modely AI – u poskytovatelů a integrátorů se řeší dokumentace, bezpečnost a informace o trénovacích datech.

Nejčastější firemní scénáře a jejich právní rizika

V marketingu je dnes běžné využívat AI pro návrhy textů, překlady, popisy produktů nebo analýzu sentimentu. Riziko vzniká ve chvíli, kdy do nástroje zadáváte citlivé informace, interní strategie, databáze zákazníků nebo osobní údaje. Pokud tým vloží do veřejného AI nástroje například seznam klientů, faktury nebo záznamy z call centra, může dojít k porušení GDPR i interní bezpečnostní politiky.

V HR a interním řízení je situace ještě citlivější. AI při předvýběru kandidátů, hodnocení výkonu nebo plánování směn může spadat do vysoce rizikových oblastí. V takových případech je potřeba doložit, jak systém funguje, kdo jej schválil, jaká data používá, jak se testuje jeho přesnost a jak je zajištěn lidský dohled. V evropské praxi se právě tady nejčastěji objevují problémy s diskriminací nebo nepřehledným rozhodováním.

V zákaznické podpoře je důležité transparentně sdělit, že uživatel komunikuje s AI. Pokud chatbot sbírá osobní údaje, musí být jasně popsáno, k čemu budou použity, jak dlouho se uchovávají a kdo k nim má přístup. U nástrojů pro automatickou klasifikaci reklamací nebo prioritizaci ticketů je vhodné nastavit pravidlo, že finální rozhodnutí vždy schvaluje člověk.

Jak si nastavit interní pravidla, aby firma obstála při kontrole

Základní krok je vytvořit interní AI policy. Ta by měla definovat, které nástroje jsou povolené, kdo je může používat, jaká data do nich smí zadávat a jaké jsou zakázané scénáře. V menších firmách často stačí jednoduchý dokument na 2–4 stránky, ale musí být praktický, nikoli formální. U větších organizací je vhodné navázat policy na informační bezpečnost, GDPR a schvalování nových nástrojů.

Dobrou praxí je zavést seznam schválených AI nástrojů a proces jejich posuzování. Před nasazením nového systému by měl proběhnout alespoň základní audit: kdo je dodavatel, kde se data zpracovávají, zda je možné vypnout učení na firemních datech, jak probíhá smazání dat a zda existuje smluvní ošetření odpovědnosti. U SaaS nástrojů je vhodné vyžadovat DPA, bezpečnostní dokumentaci a informace o subprocesorech.

  • Vymezení použití – marketing, interní podpora, analytika, HR, zákaznický servis.
  • Klasifikace dat – veřejná, interní, důvěrná, osobní, citlivá.
  • Schvalovací proces – kdo může nástroj zavést a kdo nese odpovědnost.
  • Auditní stopa – logování promptů, výstupů a rozhodnutí u kritických procesů.
  • Lidský dohled – povinné ověření u výstupů, které ovlivňují zákazníka nebo zaměstnance.

Technická a provozní opatření: co zavést hned

Vedle právních dokumentů je zásadní i technická hygiena. Nejčastější problém není samotná AI, ale to, jak s ní lidé pracují. Firmy by měly zakázat zadávání citlivých dat do veřejných modelů bez schválení a zároveň nabídnout bezpečnější alternativy, například enterprise verze s vypnutým trénováním na datech. Pro větší organizace je vhodné využít vlastní instance nebo API s kontrolovaným přístupem.

Praktickým nástrojem je centralizovaná správa přístupů přes SSO, role-based access control a interní katalog AI aplikací. U vývojových týmů se osvědčuje oddělené prostředí pro testování a produkci, aby nedošlo k úniku dat přes prompt logging nebo napojení na externí API. Z hlediska bezpečnosti je také vhodné zavést red teaming, tedy testování modelů na halucinace, úniky dat a nevhodné výstupy.

Pro dokumentaci a řízení rizik se hodí kombinace nástrojů jako OneTrust, TrustArc, Microsoft Purview nebo interní evidence v Jira a Confluence. Menší firmy mohou začít jednoduše: seznam nástrojů, typy dat, odpovědná osoba, datum revize a rizikové poznámky. Důležité je, aby bylo možné kdykoli doložit, kdo AI použil, k jakému účelu a na jakém základě.

Jak z regulace udělat konkurenční výhodu

Firmy, které si nastaví procesy včas, získají nejen nižší riziko pokut, ale i vyšší důvěru zákazníků a partnerů. Transparentní práce s AI je stále silnější obchodní argument, zejména v B2B, zdravotnictví, finančních službách a e-commerce. Zákazníci čím dál častěji řeší, zda jejich data nekončí v neznámých systémech, a partneři začínají požadovat bezpečnostní a právní garance už v tendrech.

Praktický postup pro firmy je jednoduchý: nejdřív zmapovat všechny AI nástroje, pak určit jejich rizikovost, následně upravit interní pravidla a doplnit technická opatření. U procesů s dopadem na lidi je vhodné přidat i pravidelný review, například jednou za čtvrtletí. Pokud firma provozuje web, e-shop nebo digitální služby, měla by zároveň zkontrolovat, zda AI nezasahuje do souhlasu s cookies, personalizace obsahu nebo automatizovaného rozhodování. Tady se totiž nejčastěji láme rozdíl mezi chytrou automatizací a právně problematickým řešením.

Bc. Martina Vaňková | Redakce
Bc. Martina Vaňková | Redakce

Redaktorka magazínu i-Justice.cz s citem pro detail a aktuální dění. Věnuje se zpravodajství, kultuře a lifestylovým tématům. Ráda objevuje nová místa a inspirativní příběhy, které následně přenáší na stránky našeho magazínu.

https://www.i-justice.cz