RAG
Také známo jako Retrieval-Augmented Generation, Vyhledávání s generováním
Stručně
Model dostane při každé otázce správné pasáže z vašich dokumentů, takže odpovídá z faktů, ne z paměti.
RAG spojuje dvě věci, které už máte: dokumenty a vyhledávání. Když se někdo zeptá, systém najde nejrelevantnější pasáže, vloží je do promptu a požádá model, ať odpovídá jen z nich. Odpověď pak může citovat zdroje a přestat odpovídat, když se nic relevantního nenašlo.
Jak to funguje
Indexace proběhne jednou: dokumenty se rozdělí na části po několika stovkách slov, každá část dostane embedding a vektory se uloží do databáze. Při dotazu se stejně vloží otázka, vyhledají se nejbližší pasáže a z nich plus otázky vznikne prompt.
Hybridní hledání — vektory pro význam plus klíčová slova pro kódy produktů, názvy a chybové hlášky — obvykle poráží obě metody samostatně. Přeřazení dvaceti neúspěšnějších pasáží na pět nejlepších před vstupem do modelu je nejlevnější zlepšení kvality v celém řetězu.
Proč RAG projekty selhávají
Málokdy kvůli modelu. Většinou kvůli dokumentům: naskenovaná PDF bez textu, tabulky, které se při dělení podle znaků rozpadnou, tři verze jedné směrnice v různých složkách. Čištění a dělení je 70 % práce.
Druhý nejčastější důvod: nikdo nedefinoval, na které otázky má asistent odpovídat a na které odmítnout. Asistent, který sebejistě odpovídá na dotazy o mzdách z příručky z roku 2019, je horší než ten, který řekne, že to neví.
Zdroje
Související pojmy
Embedding
Seznam čísel, který zachytí význam textu — texty s podobným významem tak skončí blízko sebe.
Halucinace
Když model s plnou sebedůvěrou tvrdí něco nepravdivého — vymyšlený zdroj, cenu nebo název API.
Kontextové okno
Maximum textu, které model zvládne najednou — pokyny, historie, dokumenty a vlastní odpověď dohromady.