Halucinace AI

V oblasti umělé inteligence (AI) je halucinace přesvědčivě formulovaný výstup generativní AI, který není podložen trénovacími daty a zdá se být objektivně nepravdivý.^[1]

Označení vzniklo analogií k halucinacím v lidské psychologii. Důležitým rozdílem je, že lidské halucinace jsou obvykle založeny na falešném vnímání lidských smyslů, zatímco halucinace umělé inteligence produkují neopodstatněné výsledky v podobě textu nebo obrázků. Prabhakar Raghavan, vedoucí Vyhledávání Google, popsal halucinace chatbotů jako přesvědčivě formulované, ale z velké části vykonstruované výsledky.^[2] Termín halucinace umělé inteligence tak může počítačové programy nevhodně antropomorfizovat.

Existují však také halucinace AI, které vědci záměrně používají k objevování nových možností řešení. Například se generativní umělá inteligence používá ve výzkumu léčiv, kde nasazení speciálně trénovaných modelů umělé inteligence vede k predikci nových terapeuticky slibných molekul na základě stávajících účinných molekul. Účinnost takto navržených molekul se poté testuje v laboratoři a pozitivní i negativní výsledky jsou předávány zpět modelu AI. Tyto vědecké aplikace umělé inteligence však nejsou založeny na libovolných jazykových konstrukcích běžných chatbotů, ale na vědeckých datech.^[3]

Halucinace umělé inteligence se staly veřejným tématem kolem roku 2022 se zavedením chatbotů využívajících velké jazykové modely (Large Language Models, LLM), jako je ChatGPT. Uživatelé si stěžovali, že chatboti často říkají věrohodně znějící náhodné nesmysly. Například když byl ChatGPT požádán o vygenerování článku o posledním finančním čtvrtletí konkrétní společnosti, vytvořil sice ucelený článek, ale zahrnul do něj vymyšlená finanční data. Analytici považují časté halucinace za hlavní problém aplikací techniky LLM.^[4]

Výzkumníci popisují nežádoucí halucinace jako statistický jev nebo je připisují nedostatečným trénovacím datům. Vzhledem k tomu, že velké jazykové modely nemají úplné znalosti o světě, chybějící znalosti jsou interpolovány nebo konfabulovány. Tato vlastnost jazykových modelů umožňuje kreativní zodpovídání dotazů, přesahující znalosti uložené v modelu. Vede však zároveň k tomu, že uživatelský dotaz, pro který existuje objektivně správná odpověď, ale model ji nezná, může být zodpovězen způsobem, který se jeví jako správný, ale ve skutečnosti pravdivý není.

Někteří odborníci se domnívají, že některé nesprávné odpovědi umělé inteligence, které lidé klasifikují jako halucinace, mohou být ve skutečnosti ospravedlněny trénovacími daty nebo dokonce se může stát, že umělá inteligence dá správnou odpověď, kterou lidští recenzenti nepochopí. Například obrázek, který se člověku jeví jako běžný snímek psa, může ve skutečnosti obsahovat prvky, vyskytující se jen na autentických snímcích koček. Umělá inteligence tyto skutečné vizuální vzory rozpozná, i když jsou pro člověka neviditelné. Zároveň však modely mohou v podobných případech mít reálné halucinace, když inklinují k nepodloženým vzorcům v datech následkem nesprávného statistického zobecnění a tréninku, které nebyl dost robustní.

Halucinace jsou ze statistického hlediska nevyhnutelný vedlejší produkt jakéhokoli generativního modelu trénovaného dnes známým způsobem. Jde o projev obecné nedokonalosti reálných statistických modelů s omezeným počtem parametrů a omezeným rozsahem podkladových dat. I velké datové sady mohou navíc být nereprezentativní, což vede k halucinacím, pokud si je systém příliš jistý svými znalostmi.^[5] V systémech jako GPT-4, kde umělá inteligence generuje každé další slovo na základě sekvence předchozích slov (včetně slov, která sama vygenerovala dříve během stejného dialogu), může také docházet ke kaskádě halucinací, jak se odpověď prodlužuje.^[6]

Pro snížení halucinací způsobených umělou inteligencí se používá dodatečné aktivní učení (například posilovací učení z lidské zpětné vazby v GPT-4). Google Bard také zavedl funkci, která oranžově zvýrazňuje části textu, jež jsou nejisté. Je však otázkou, zda lze halucinace úplně vyřešit.^[7]

Halucinace AI jsou důležité téma vědeckého výzkumu. Zkoumá se, jak se halucinace umělé inteligence odchylují od typických lidských chyb a hledají se vhodná protiopatření pro obzvláště matoucí, ale zdánlivě reálné výsledky.

Jednou z takových možností je samokonzistenční promptování (self-consistency prompting), která se používá k detekci nesprávných odpovědí jazykového modelu prostřednictvím variací požadavků (název) nebo konzistentních více požadavků.

Vhodný prompt, které model umělé inteligence nenutí odpovídat na otázku, může také vést k redukci – ale ne úplnému odstranění – vymyšlených odpovědí. Například místo otázky „Kdo byl prezidentem Německa v roce 2024?“ lze otázku formulovat jako „Víš, kdo byl prezidentem Německa v roce 2024?“. To systému umožňuje formulovat odpověď typu „Ne, bohužel nevím“, místo aby se snažil odpověď uhodnout.

Další možností je použít Retrieval-Augmented Generation k obohacení uživatelského dotazu o ověřené informace z internetu nebo databáze – za předpokladu, že jsou k dispozici potřebná data.

V tomto článku byl použit překlad textu z článku Halluzination (Künstliche Intelligenz) na německé Wikipedii.

Zdroj