Kvíz spojený s průvodcem · Střední úroveň

Vytvoření kvízu LLM Eval Dataset

Testy využívající skutečné případy, zlaté odpovědi versus rubriky, pokrytí okrajových případů a dimenzování hodnotové sady tak, aby rozdíly ve skóre byly smysluplné.

Související vodicí cestyVytváření datových sad LLM Eval
Otázka 1 z 8

Co průvodce doporučuje jako nejlepší výchozí zdroj pro eval případy?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co průvodce doporučuje jako nejlepší výchozí zdroj pro eval případy?
    • Pouze syntetické otázky generované LLM
    • Veřejné benchmarkové žebříčky
    • Náhodný text seškrábaný z internetu
    • Skutečné použití, jako jsou protokoly, lístky podpory a vyhledávací dotazy
  2. Kdy je rubrika vhodnější než jediná zlatá odpověď?
    • Pro klasifikační úlohu s pevnými štítky
    • Pro úkoly s otevřeným koncem, kde může být správných mnoho různých formulací
    • Pro získání přesného čísla faktury
    • Rubrika není nikdy vhodnější
  3. Které z těchto kritérií je dobře napsaným kritériem?
    • Je užitečné
    • Zní to přirozeně
    • Uvádí termín vrácení peněz
    • Je vysoce kvalitní
  4. Co průvodce říká se 100 případy vyhovění/neúspěchu a úspěšností téměř 80 procent o chybovosti?
    • Je to zhruba plus minus 8 procentních bodů, takže dvoubodové zlepšení vypadá jako šum
    • Jde o plus minus 0,1 procentního bodu
    • Je to přesně nula
    • Jde o plus minus 50 procentních bodů
  5. Jaký je účel regresního řezu?
    • Automatické odstranění zastaralých případů
    • Pro urychlení reakcí modelu
    • Chcete-li zachovat minulá selhání v sadě, aby opravy zůstaly testovány
    • Trénovat model na jeho vlastních chybách
  6. Co byste měli udělat, než důvěřujete porotci LLM při hodnocení položek rubriky?
    • Zvyšte teplotu rozhodčího
    • Odstraňte rubriku, aby se soudce mohl svobodně rozhodnout
    • Vyzkoušejte soudce na jediném případu
    • Nechte lidi označit vzorek a změřte, jak často s nimi soudce souhlasí
  7. Proč si ponechat odloženou část datové sady, kterou nenaladíte?
    • Abyste se vyhnuli přeplnění, zobrazí se výzva k testovací sadě
    • Pro úsporu úložného prostoru
    • Protože to vyžadují předpisy
    • Pro snížení latence
  8. Proč jsou párová srovnání na stejných případech užitečná při porovnávání dvou verzí?
    • Odstraňují potřebu jakéhokoli srovnávače
    • Obvykle potřebují méně příkladů než srovnání nezávislých vzorků
    • Odstraňují veškerý nedeterminismus z výstupů modelu
    • Zaručují perfektní skóre