Odhalení rizik: Jak rozpoznat slabá místa AI aktiv dříve, než způsobí škodu

Odhalení rizik: Jak rozpoznat slabá místa AI aktiv dříve, než způsobí škodu

AI aktivum má hodnotu jen tehdy, pokud je nejen výkonné, ale také bezpečné a předvídatelné. Ocenění a monitoring ukazují, jak si model vede v čase, ale neříkají, jaká rizika se mohou objevit a kde přesně vznikají.

S rostoucím využíváním AI se proto do popředí dostává otázka:

„Rozumíme rizikovému profilu našich AI aktiv dostatečně na to, abychom problém odhalili včas?“

Podle rámce NIST AI Risk Management Framework je identifikace rizik základním krokem řízení AI systémů. Jeho čtyři hlavní funkce – Govern, Map, Measure a Manage – propojují mapování kontextu a rizik s jejich měřením, řízením a průběžnou aktualizací.

Od tradičního k modernímu: proč běžný risk management nestačí

Klasické IT rizikové analýzy řeší infrastrukturu, dostupnost a bezpečnostní incidenty. U AI systémů je riziková plocha širší.

Model může selhat kvůli změně dat, nikoli kvůli chybě infrastruktury. Může generovat přesvědčivé, ale chybné výstupy. Může být zneužit prompt injection nebo adversariálními vstupy. A může se chovat jinak v produkci než v testu.

NIST proto upozorňuje, že AI rizika jsou dynamická a sociotechnická, nikoli jen technická. Riziko nevzniká pouze uvnitř modelu, ale také v interakci technologie s lidmi, daty a prostředím, ve kterém je systém používán.

Čtyři vrstvy rizik AI aktiv

  • Datová rizika: Nekvalitní nebo neaktuální data, concept drift, data poisoning.
  • Modelová rizika: Halucinace, bias, model drift, nejasná míra jistoty odpovědí.
  • Provozní rizika: Chybné workflow, nesprávné použití modelu, nákladové výkyvy.
  • Bezpečnostní rizika: Prompt injection, úniky dat, neautorizované akce agentních systémů.

Rámec Gartner AI TRiSM upozorňuje, že řízení AI rizik se nemůže omezit na statické politiky. U stále autonomnějších systémů je potřeba průběžného monitorování, validace a vynucování pravidel přímo během provozu.

Regulace mění odhalování rizik na povinnost

EU AI Act vyžaduje:

  • identifikaci známých a předvídatelných rizik a jejich vyhodnocení a řízení (čl. 9),
  • průběžné sledování systému po jeho uvedení na trh (čl. 72),
  • hlášení závažných incidentů (čl. 73).

U vysoce rizikových systémů tak nejde pouze o jednorázové posouzení před uvedením na trh. Článek 9 pracuje s průběžným a iterativním procesem řízení rizik během celého životního cyklu systému a články 72–73 požadují navíc systém post-market monitoringu.

Praktický rámec pro odhalování rizik

  1. Zmapujte systém a jeho kontext: Bez pochopení účelu, datových toků a uživatelů nelze rizika identifikovat. NIST označuje mapování kontextu za základní krok funkce Map. Ta pomáhá pochopit účel systému, jeho uživatele, možné dopady a prostředí, ve kterém bude nasazen.
  2. Identifikujte technická, provozní a sociotechnická rizika: Testujte data, model, bezpečnost i dopady na uživatele.
  3. Vyhodnoťte závažnost a pravděpodobnost: Rizika je potřeba posoudit podle jejich závažnosti a pravděpodobnosti a určit, která z nich vyžadují další opatření.
  4. Propojte rizika s mitigacemi a monitoringem: Identifikace bez reakce je jen seznam problémů.

Rok 2026: řízení AI rizik se stává realitou

Rok 2026 ukazuje, že řízení AI rizik už není pouze otázkou budoucí regulace. Od 2. srpna 2026 se v EU začaly uplatňovat nové transparentnostní povinnosti podle čl. 50 AI Act, například požadavky na informování lidí při interakci s určitými AI systémy nebo na označování některého AI-generovaného obsahu. Ve stejný den začaly AI Office a příslušné národní orgány pravidla prosazovat.

Zároveň ale platí důležitá nuance: hlavní povinnosti pro high-risk AI systémy podle Annex III se obecně začnou uplatňovat až 2. prosince 2027. Rok 2026 je tak spíše obdobím, kdy se firmy musí připravit na to, že systematické řízení AI rizik se postupně stává součástí skutečného regulatorního a provozního rámce.

Závěr

Odhalení rizik je dnes stejně důležité jako samotné ocenění nebo monitoring AI aktiv.

Hodnota modelu se může vytrácet nejen kvůli driftu, ale i kvůli neviditelným rizikům, která se projeví až v okamžiku incidentu.

Konkurenční výhodou v roce 2026 proto není jen vlastnit výkonné AI aktivum, ale rozumět jeho rizikovému profilu a včas odhalit slabá místa, než si jich všimne zákazník, investor nebo regulátor.



AI aktiva AI rizika řízení AI rizik NIST AI Risk Management Framework Gartner AI TRiSM EU AI Act model drift concept drift prompt injection monitoring AI systémů