Kvíz spojený s průvodcem · Střední úroveň
Kvíz LLM jako soudce
Prohlédněte si hodnocení založené na modelu, bodové a párové rubriky, posuďte zkreslení a validaci podle lidských preferencí. v praxi.
Otázka 1 z 8
Co znamená „LLM-as-a-judge“?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co znamená „LLM-as-a-judge“?
- Použití jednoho jazykového modelu k hodnocení nebo porovnání výstupů jiného modelu
- Použití jazykového modelu k psaní právních verdiktů
- Model, který odpovídá pouze na otázky ano/ne
- Model, který řadí výsledky vyhledávání podle data
- Jaký je rozdíl mezi bodovým a párovým posuzováním?
- Bodově je rychlejší; pairwise je pomalejší, ale jinak identický
- Bodově hodnotí jednu odpověď podle rubriky; párově vybírá lepší ze dvou
- Pointwise funguje pouze pro kód; párově pouze pro prózu
- Není v tom žádný skutečný rozdíl
- Která z nich je dobře zdokumentovaná zaujatost u soudců LLM?
- Preferuji odpovědi psané velkými písmeny
- Vždy preferuji první slovo podle abecedy
- Upřednostňování delších odpovědí bez ohledu na kvalitu
- Odmítání hodnotit otázky o historii
- Jak hodnotitelé běžně čelí zkreslení pozice při párovém srovnání?
- Zobrazováním pouze jedné odpovědi najednou
- Tím, že vždy dáte na první místo delší odpověď
- Smazáním pole odůvodnění
- Provedením každého srovnání dvakrát s vyměněnou objednávkou
- What evaluation procedure did G-Eval use for generated text?
- Chain-of-thought steps followed by a form-filling evaluation against criteria
- A speaker verification threshold
- A search index with BM25 only
- An image classifier trained on screenshots
- Jak může tým potvrdit, že soudce LLM zůstává v souladu s lidskými preferencemi?
- Tím, že to po nastavení už nikdy nezkontrolujete
- Kalibrací proti zlaté sadě označené lidmi
- Tím, že hodnotí rozhodčí sám
- Používáním pouze o víkendech
- What is self-preference bias in LLM-based evaluation?
- A judge always selects the shortest answer
- A judge cannot compare two outputs
- A judge favors outputs generated by its own model or model family
- A judge evaluates only audio signals
- What does G-Eval use to make its discrete score more fine-grained in the reported method?
- The position of the answer in a pairwise comparison
- The judge model’s parameter count only
- A count of citations in the answer
- Probability weights over the candidate score tokens