Kvíz spojený s průvodcem · Střední úroveň

Kvíz LLM jako soudce

Prohlédněte si hodnocení založené na modelu, bodové a párové rubriky, posuďte zkreslení a validaci podle lidských preferencí. v praxi.

Související vodicí cestyLLM jako soudce
Otázka 1 z 8

Co znamená „LLM-as-a-judge“?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co znamená „LLM-as-a-judge“?
    • Použití jednoho jazykového modelu k hodnocení nebo porovnání výstupů jiného modelu
    • Použití jazykového modelu k psaní právních verdiktů
    • Model, který odpovídá pouze na otázky ano/ne
    • Model, který řadí výsledky vyhledávání podle data
  2. Jaký je rozdíl mezi bodovým a párovým posuzováním?
    • Bodově je rychlejší; pairwise je pomalejší, ale jinak identický
    • Bodově hodnotí jednu odpověď podle rubriky; párově vybírá lepší ze dvou
    • Pointwise funguje pouze pro kód; párově pouze pro prózu
    • Není v tom žádný skutečný rozdíl
  3. Která z nich je dobře zdokumentovaná zaujatost u soudců LLM?
    • Preferuji odpovědi psané velkými písmeny
    • Vždy preferuji první slovo podle abecedy
    • Upřednostňování delších odpovědí bez ohledu na kvalitu
    • Odmítání hodnotit otázky o historii
  4. Jak hodnotitelé běžně čelí zkreslení pozice při párovém srovnání?
    • Zobrazováním pouze jedné odpovědi najednou
    • Tím, že vždy dáte na první místo delší odpověď
    • Smazáním pole odůvodnění
    • Provedením každého srovnání dvakrát s vyměněnou objednávkou
  5. What evaluation procedure did G-Eval use for generated text?
    • Chain-of-thought steps followed by a form-filling evaluation against criteria
    • A speaker verification threshold
    • A search index with BM25 only
    • An image classifier trained on screenshots
  6. Jak může tým potvrdit, že soudce LLM zůstává v souladu s lidskými preferencemi?
    • Tím, že to po nastavení už nikdy nezkontrolujete
    • Kalibrací proti zlaté sadě označené lidmi
    • Tím, že hodnotí rozhodčí sám
    • Používáním pouze o víkendech
  7. What is self-preference bias in LLM-based evaluation?
    • A judge always selects the shortest answer
    • A judge cannot compare two outputs
    • A judge favors outputs generated by its own model or model family
    • A judge evaluates only audio signals
  8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
    • The position of the answer in a pairwise comparison
    • The judge model’s parameter count only
    • A count of citations in the answer
    • Probability weights over the candidate score tokens