Velký jazykový model
Také známo jako LLM
Stručně
Model natrénovaný na obrovském množství textu, který odhaduje další token — a to stačí na psaní, vysvětlování, překlad i úsudek.
LLM je neuronová síť, jejíž jediná původní dovednost je dokončovat text. Dáte jí prompt a ona odhadne, co věrohodně následuje. Když se to zvetší na dost textu, parametrů a přidá se chatovací rozhraní, začne stejný mechanismus vypadat jako uvažování, shrnování, programování a odpovídání na otázky.
Kde žije ta znalost
Během tréninku model vtlačí vzory z dat do miliard čísel — parametrů. Proto umí mluvit o Celsiu nebo jQuery, aniž by šel na internet: viděl dost příkladů. Stejná komprese má ale jeden vedlejší účinek — model si je jistý i u věcí, které nikdy nebyly pravdivé.
Model nemá mezi požadavky paměť. Každá konverzace začíná znovu, dokud historii nepošlete celou, a každý model má kontextové okno: maximum textu, na které se najednou podívá.
Velký, malý a něco mezi tím
Každý poskytovatel nabízí několik modelů stejné generace: rychlé a levné na klasifikaci a extrakci, střední na většinu produktových funkcí a nejvyšší, které si déle přemýšlejí a stojí násobky. Vybrat nejmenší model, který projde vaší evaluací, je největší páka na cenu AI.
Reálné termíny většinou určuje P95 latence a cena za požadavek, ne benchmarky. Model, který je o 2 % horší v žebříčku, ale třikrát rychlejší, bývá lepší produktové rozhodnutí.
Proč výstup není deterministický
V každém kroku model spočítá pravděpodobnosti pro další token a strategie výběru (teplota, top-p) jednu vybere. Při teplotě blízké nule bere skoro vždy tu nejpravděpodobnější, při vyšších hodnotách zkouší jiné. Právě ta rozmanitost dělá text živý — a právě kvůli ní nejde reprodukovat včerejší chyba.
Řešením je inženýrství, ne výčitky. Logujte prompty i výstupy, sestavte evaluační sadu a v produkci zafixujte verzi modelu. Když poskytovatel vydá novou, protáhněte ji evaluací dřív, než ji pustíte dál.
Související pojmy
Prompt
Pokyny a kontext, které modelu posíláte. Jasná struktura, příklady a definovaný formát výstupu jsou důležitější než vychytaná formulace.
Token
Jednotka textu, po které AI model čte a píše — zhruba tři čtvrtě slova. Modely i ceny se počítají v tokenech.
Halucinace
Když model s plnou sebedůvěrou tvrdí něco nepravdivého — vymyšlený zdroj, cenu nebo název API.