Nakonec měřte dvě věci odděleně: jestli retrieval vrátil správnou pasáž a jestli model z ní složil správnou odpověď. Když je sloučíte do jednoho čísla, nepoznáte, kde opravovat. Malý ručně označený soubor dotazů a odpovědí udělá víc než jakékoli automatické skóre.
Počítejte s tím, že kvalitu určuje údržba, ne jednorázové nasazení. Dokumenty se mění, duplikují a mizí. Zaveďte přeindexování při každé změně zdroje a mažte chunky, jejichž předloha už neexistuje. Průběžně sbírejte dotazy, u kterých systém odpověděl špatně, a rozeberte je: chybí dokument, chunk je rozsekaný, nebo selhalo hledání? Bez tohoto zpětného pohledu se systém nikam neposune.
Základní pravidlo obecné odpovědnosti zní, že škodu nahradí ten, kdo ji způsobil porušením právní povinnosti. U AI to znamená najít konkrétní pochybení: nevhodně nastavený systém, nedostatečné testování, ignorované varování nebo chybějící lidský dohled. Pokud provozujete nástroj, který zasahuje do práv jiných, nastavte jasná pravidla použití, školicí režim a kontrolní body. Typickou chybou je spoléhat na to, že „to udělala AI, ne my” — právo takovou obranu nezná.
Posledním kritériem je provozní realita: jak často se mění sazby, šablony a dodavatelé a kdo udržuje pravidla aktuální. AI není jednorázový projekt, ale průběžná údržba. Rozumný postup je začít jedním procesem, změřit výsledek po dvou uzávěrkových cyklech a teprve pak rozšiřovat. Pokud se přínos neprojeví v měřitelném čase u lidí, kteří práci dělají, další funkce situaci nezachrání.
Pamatujte, že odpovědnost se nepřenáší na nástroj. Když doporučení použijete bez ověření v pracovním procesu, nesete následky vy. Výjimkou nejsou ani interní směrnice: pokud firma AI povolí, měla by mít jasně dané, kdo výstup kontroluje a kdo schvaluje. Bez toho se při sporu těžko prokazuje, že šlo o řádný postup.
Typické chyby jsou tři. První je příliš složité schvalování, kdy jeden požadavek projde čtyřmi úrovněmi a lidé ho obcházejí. Druhá je absence automatické kontroly, zda přidělená práva stále odpovídají roli. Třetí je nedostatečná evidence změn, takže při incidentu nelze dohledat, kdo a kdy přístup změnil. Každou z těchto chyb lze odstranit nastavením pravidelného přezkumu práv a logováním každé změny včetně důvodu.
Retrieval-augmented generation (RAG) vypadá jednoduše: vezmi dotaz, najdi podobné pasáže, přilož je k promptu a nech model odpovědět. Většina prvních verzí ale selhává nikoli na modelu, nýbrž na tom, co se do kontextu dostane. Než začnete lepit dohromady knihovny, napište si pět skutečných dotazů, na které má systém odpovídat, a pět odpovědí, které jsou správné. Teprve z toho odvoďte, co má být v indexu a v jaké podobě.
Druhá častá chyba je prompt bez hranic. Model musí mít jasně řečeno, že smí vycházet pouze z přiložených pasáží, a když v nich odpověď není, má to říct. Do promptu dávejte pasáže s označením zdroje a vyžadujte odkaz na něj. Bez toho si model rád domyslí zbytek a vy dostanete sebevědomě znějící text, který se opírá o nic.
Kdy jde o vadu výrobku a kdy o provozní riziko Odpovědnost za výrobek se uplatní, pokud software nebo systém vykazuje vadu a způsobil škodu na zdraví nebo majetku. Výrobce odpovídá i tehdy, když vadu nezavinil, ale musí být schopen ji prokázat. Naopak provozovatel, který systém používá v podnikání, odpovídá za škodu z provozní činnosti. Prakticky to znamená vést dokumentaci o tom, jaký model a jaká verze byly nasazeny, jaké byly známé limity a jaká opatření byla přijata. Pokud tato dokumentace chybí, důkazní břemeno se obrací proti vám.
Nejčastější chyba je brát odpověď jako hotový závěr. Model může zaměnit paragrafy, plést si lhůty, ignorovat výjimky nebo vymyslet existující ustanovení. Než cokoli použijete, ověřte tři věci: jestli předpis skutečně platí, jestli je ve znění, které se na daný případ vztahuje, a jestli jsou vstupy úplné. Typicky se zapomíná na místní příslušnost, promlčecí lhůty nebo na to, že se pravidla liší podle typu subjektu.
Při návrhu workflow dávejte pozor na zdroj pravdy. Údaje o lidech a rolích mají pocházet z jednoho systému, ne z několika tabulek, které se navzájem rozcházejí. Automatizace, která čte zastaralá data, přidělí práva špatně a chybu najdete až při auditu. Stejně důležité je ošetřit výjimky: dočasné přístupy, zastupování a externí spolupracovníky. Pokud pro ně není připravený schválený postup, lidé si je budou řešit mimo systém a evidence se rozpadne.
Na závěr je dobré si prezentaci přečíst nahlas. Kde se zadrhne jazyk nebo kde věta nedává smysl, tam je problém. AI nástroje ušetří čas při hledání struktury a prvního návrhu, ale odpovědnost za obsah zůstává na tom, kdo prezentaci předvádí. Kdo si dá práci se zadáním a kontrolou, tomu ušetří hodiny. Kdo to přeskočí, stráví stejně tolik času opravováním nesmyslů, které vygenerovaný text přinesl.
If you adored this article and you would certainly such as to get more information relating to Discuss kindly check out the page.