Halucinace
Také známo jako AI halucinace, Fabrikace
Stručně
Když model s plnou sebedůvěrou tvrdí něco nepravdivého — vymyšlený zdroj, cenu nebo název API.
Halucinace je plynulá, pěkně naformátovaná odpověď, která je prostě špatně. Model nelže úmyslně: generuje nejvěrohodnější pokračování a sebejistá věta je často věrohodnější než „nevím“. Plynulá čeština chybu neprozradí, spíš ji schová.
Kde to bolí nejvíc
Fakta s následky: ceny, termíny, právní požadavky, dávkování, kompatibilita, „ano, tohle pasuje na váš typ vozu“. A taky citované zdroje — vymyšlený, ale uvěřitelný odkaz je horší než žádný, protože vypadá jako důkaz.
Nejméně škodí tam, kde uživatel odpověď za pár sekund zkontroluje (kód, který se nepřeloží, odhalí překladač). Nejhůř působí tam, kde je kontrola drahá — tedy právě tam, kde lidé chtějí ušetřit čas.
Jak ji snížit
Ukoťte odpověď v něčem ověřitelném: RAG nad skutečnými dokumenty, volání nástrojů u čísel místo paměti a prompt s explicitním „když to není v kontextu, řekni to“. Udržujte sadu záludných otázek a měřte, jak často si model něco vymyslí.
V rozhraní citujte zdroje a u kritických odpovědí vyžádejte potvrzení, než se provede akce. Člověk, který denně opraví deset chyb, je mnohem levnější než jedna špatná faktura odeslaná zákazníkovi.
Související pojmy
RAG
Model dostane při každé otázce správné pasáže z vašich dokumentů, takže odpovídá z faktů, ne z paměti.
Velký jazykový model
Model natrénovaný na obrovském množství textu, který odhaduje další token — a to stačí na psaní, vysvětlování, překlad i úsudek.
Prompt
Pokyny a kontext, které modelu posíláte. Jasná struktura, příklady a definovaný formát výstupu jsou důležitější než vychytaná formulace.