Evaluace
Také známo jako Evals, Zkušební sada
Stručně
Pevná sada reálných vstupů s očekávanými výsledky, která se pouští při každé změně — testy AI funkce.
Evaluační sada obsahuje otázky, které uživatelé opravdu kladou, s odpovědí nebo chováním, které považujete za správné. Každá úprava promptu, výměna modelu nebo změna retrieval ponechá celou sadu projít a skóre řekne, jestli jste přidali, nebo rozbili.
Začněte třiceti příklady
Třicet pečlivě vybraných příkladů poráží tři tisíce náhodných. Pokryjte běžnou cestu, případy, které uživatelé nenapíšou, ale model si je přebere, a situace, kde je správná odpověď „nevím“ nebo předání člověku.
Příklady berte z reálných logů, ne z fantazie. Zapište je v den, kdy se objeví chyba — neobvyklá formulace od uživatele je nejcennější evaluační případ, jaký získáte.
Skórování: přesné a modelové
Kde to jde, skórujte kódem: parsuje se JSON, sedí číslo, obsahuje odpověď odkaz na zdroj. Přesné kontroly jsou rychlé, zdarma a nikdy se neunaví.
U volných odpovědí použijte silnější model jako rozhodčího s jasnými kritérii a občasnou kontrolu člověkem. Sledujte součty v čase a pokles berte jako červený test v CI, ne jako zajímavost.
Související pojmy
Prompt
Pokyny a kontext, které modelu posíláte. Jasná struktura, příklady a definovaný formát výstupu jsou důležitější než vychytaná formulace.
Halucinace
Když model s plnou sebedůvěrou tvrdí něco nepravdivého — vymyšlený zdroj, cenu nebo název API.
Code review
Druhý pár očí nad změnou, než se dostane do produkce — nachytá chyby, designové problémy i nepříjemná překvapení včas.