DalšíDalší průvodce
LLM Eval Frameworks: Promptfoo and DeepEval
Technický
Technický PRŮVODCE
Datový soubor LLM eval je upravená sada realistických vstupů, z nichž každý je spárován se zlatou odpovědí, referenčními fakty nebo hodnoticí rubrikou, se kterou spouštíte svou aplikaci za účelem měření kvality a zachycení regresí.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Je to důležité, protože změna výzvy, modelu nebo vyhledávání může zlepšit jedno chování a porušit jiné. Bez pevné sady testů týmy nakonec posuzují změny podle několika ručně vybraných příkladů.
Začněte skutečným použitím. Protokoly, lístky na podporu, vyhledávací dotazy a uživatelské rozhovory ukazují, na co se lidé skutečně ptají, včetně chaotických frází, které vymyšlené příklady postrádají. Před spuštěním nechte odborníky na domény napsat vstupy. Můžete přidat syntetické případy generované LLM, pokud je osoba zkontroluje a odstraní nerealistické nebo duplicitní položky. Dále definujte, co znamená správný pro každý případ. Některé úkoly mají jednu správnou odpověď, jako je klasifikace, extrakce nebo faktické vyhledávání. U těch si uložte zlatou odpověď, kterou lze porovnat přesně nebo po normalizaci světla. Pro úkoly s otevřeným koncem napište rubriku konkrétních, ověřitelných kritérií, jako například „zmíní se o termínu vrácení peněz“ nebo „nedoporučí konkurenta“. Vágní kritéria jako „je užitečné“ vedou k nekonzistentnímu hodnocení, ať už je srovnávač osoba nebo model poroty. Pak záměrně pokrýt rozsah skutečných vstupů. Označte případy podle záměru, obtížnosti, jazyka a typu uživatele a zkontrolujte, zda jsou zastoupeny důležité skupiny. Přidejte okrajové případy a protichůdné vstupy: - nejednoznačné otázky - požadavky s chybějícími informacemi - velmi dlouhé vstupy - požadavky mimo rozsah, které by měly být odmítnuty - pokusy o okamžité vložení Udržujte regresní řez vytvořený z minulých selhání. Velikost sady podle rozhodnutí, které má podporovat. Několik desítek dobře vybraných případů může brzy odhalit velké problémy. Detekce malých rozdílů vyžaduje spolehlivě více. Se 100 případy vyhověl/nevyhověl a úspěšností téměř 80 procent je míra chyb zhruba plus minus 8 procentních bodů při 95procentní spolehlivosti. Dvoubodové zlepšení je při této velikosti k nerozeznání od hluku. Hlásit výsledky pro každý řez, nejen celkový průměr. Častou chybou je považovat datovou sadu za hotovou. Produkty a uživatelé se mění, takže si to obnovte z nových protokolů. Nechte si odloženou část, kterou nikdy nenaladíte, aby se vaše výzvy příliš nehodily k testu.
Tým podpory vyexportuje 300 skutečných tiketů s odstraněnými osobními údaji, u každého označí správné rozlišení a ohodnotí každou novou verzi výzvy.
Pro shrnutí schůzek, kde je mnoho formulací správných, tým napíše rubriku: pokrývá tři klíčová rozhodnutí, nevznáší žádná nepodložená tvrzení, zůstává pod 150 slovy.
Tým přidává okrajové případy: prázdný vstup, otázku ve španělštině, dokument obsahující pokus o okamžité vložení a žádost mimo rozsah, kterou by měl asistent odmítnout.
Když uživatel nahlásí špatnou odpověď v produkci, případ se dostane do datové sady se správnou odpovědí, takže oprava zůstane od té doby testována.
Nástroje Eval rychle dozrály. Open-source frameworky a hostované platformy nyní spravují datové sady, spouštějí srovnávače a sledují výsledky v průběhu času. Generování syntetických dat se bude pravděpodobně stále zlepšovat, což zlevňuje pokrytí vzácných případů. Nemůže nahradit skutečné uživatelské vstupy jako kotva pro to, na čem záleží. S tím, jak se aplikace stávají agentnějšími, stále více obsahují eval sady vícekrokové úkoly odstupňované jak podle konečného výsledku, tak podle kroků podniknutých na cestě. Základní disciplína se mění pomalu: jasně definovat úspěch, pokrýt skutečné vstupy, používat dostatek případů, abyste důvěřovali číslům, a pravidelně aktualizovat sadu z výroby.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Datový soubor LLM eval je upravená sada realistických vstupů, z nichž každý je spárován se zlatou odpovědí, referenčními fakty nebo hodnoticí rubrikou, se kterou spouštíte svou aplikaci za účelem měření kvality a zachycení regresí. Je to důležité, protože změna výzvy, modelu nebo vyhledávání může zlepšit jedno chování a porušit jiné. Bez pevné sady testů týmy nakonec posuzují změny podle několika ručně vybraných příkladů.
Skutečné použití zachycuje to, na co se lidé skutečně ptají, včetně chaotických frází. Syntetická pouzdra jsou recenzovaným doplňkem, nikoli náhradou.
Otevřené výstupy, jako jsou souhrny, nelze přesně spárovat. Specifická, kontrolovatelná kritéria umožňují srovnávačům je důsledně posuzovat.
Dobré kritérium je konkrétní a kontrolovatelné. Vágní kritéria jako „je užitečné“ vedou k nekonzistentnímu hodnocení ze strany lidí i soudců modelů.
Při 95procentní spolehlivosti je při této velikosti rozpětí asi 8 bodů. Bez více případů nelze věřit malým rozdílům mezi verzemi.
Přidání každého opraveného selhání do datové sady znamená, že pozdější změna nemůže v tichosti znovu zavést stejnou chybu.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
LLM Eval Frameworks: Promptfoo and DeepEval
Technický