Kontextové okno
Také známo jako Context length, Kontextové okno
Stručně
Maximum textu, které model zvládne najednou — pokyny, historie, dokumenty a vlastní odpověď dohromady.
Kontextové okno je pracovní paměť modelu. Všechno, z čeho může při odpovědi vycházet, se do něj musí vejít: systémový prompt, dosavadní konverzace, přiložené dokumenty, výsledky nástrojů i samotná odpověď. Když ho přeteče, nejstarší části se zahodí — často potichu.
Velké okno není totéž jako paměť
Modely technicky zvládnou stovky tisíc tokenů, kvalita ale není v celém okně stejná. Informace zahrabaná uprostřed velmi dlouhého promptu se najde méně spolehlivě než ta na začátku nebo na konci a dlouhé prompty jsou pomalejší a dražší, protože platíte každý token při každém požadavku.
Proto je strategie „narvu do promptu celou databázi“ zkratka, která přestane fungovat. Za pár desítek stránek se vyplatí vyhledat správné pasáže (viz RAG) místo vypisovat všechno.
V praxi
V chatu posílejte celou historii, aby model držel nit. Jakmile je konverzace dlouhá, shrňte starší části a nechte poslední v původní podobě vedle krátkého shrnutí.
Rozpočet okna si naplánujte: rezervujte místo na odpověď, omezte velikost částí dokumentů a přetečení ošetřete v kódu. Explicitní „potřebuji více kontextu“ je lepší než potichu uříznutý dokument, na který model odpovídá zpaměti.
Související pojmy
Token
Jednotka textu, po které AI model čte a píše — zhruba tři čtvrtě slova. Modely i ceny se počítají v tokenech.
RAG
Model dostane při každé otázce správné pasáže z vašich dokumentů, takže odpovídá z faktů, ne z paměti.
Velký jazykový model
Model natrénovaný na obrovském množství textu, který odhaduje další token — a to stačí na psaní, vysvětlování, překlad i úsudek.