Útmutatóhoz kapcsolódó kvíz · Közepes Szint
LLM-mint bíró kvíz
Review model-based evaluation, pointwise and pairwise rubrics, judge biases and validation against human preferences. in practice.
kérdés 1 -ból 8
Mire utal az „LLM-mint bíró”?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mire utal az „LLM-mint bíró”?
- Egy nyelvi modell használata egy másik modell kimeneteinek pontozására vagy összehasonlítására
- Nyelvi modell használata jogi ítéletek megírásához
- Egy modell, amely csak igen/nem kérdésekre válaszol
- A keresési eredményeket dátum szerint rangsoroló modell
- Mi a különbség a pontonkénti és a páros bírálat között?
- Pointwise gyorsabb; páronként lassabb, de egyébként azonos
- Pointwise osztályoz egy választ egy rubrikához képest; páronként kiválasztja a kettő közül a jobbat
- A Pointwise csak kód esetén működik; páronként csak a prózához
- Nincs igazi különbség
- Ezek közül melyik a jól dokumentált elfogultság az LLM bíráknál?
- A csupa nagybetűvel írt válaszok előnyben részesítése
- Mindig előnyben részesítve az első szót ábécé sorrendben
- Hosszabb válaszok előnyben részesítése minőségtől függetlenül
- A történelemmel kapcsolatos kérdések osztályozásának megtagadása
- Hogyan ellensúlyozzák az értékelők általában a pozíció elfogultságát a páronkénti összehasonlításban?
- Egyszerre csak egy válasz megjelenítésével
- Úgy, hogy mindig a hosszabb választ helyezi előtérbe
- Az indokolás mező törlésével
- Minden összehasonlítás kétszeri futtatásával a kicserélt rendeléssel
- What evaluation procedure did G-Eval use for generated text?
- Chain-of-thought steps followed by a form-filling evaluation against criteria
- A speaker verification threshold
- A search index with BM25 only
- An image classifier trained on screenshots
- Hogyan tudja egy csapat megerősíteni, hogy egy LLM-bíró igazodik az emberi preferenciákhoz?
- Úgy, hogy soha többé nem ellenőrzi a beállítás után
- Egy ember által feliratozott aranykészlethez kalibrálva
- Azáltal, hogy magát a bírót minősíti
- Csak hétvégén használva
- What is self-preference bias in LLM-based evaluation?
- A judge always selects the shortest answer
- A judge cannot compare two outputs
- A judge favors outputs generated by its own model or model family
- A judge evaluates only audio signals
- What does G-Eval use to make its discrete score more fine-grained in the reported method?
- The position of the answer in a pairwise comparison
- The judge model’s parameter count only
- A count of citations in the answer
- Probability weights over the candidate score tokens