Útmutatóhoz kapcsolódó kvíz · Közepes Szint

LLM-mint bíró kvíz

Review model-based evaluation, pointwise and pairwise rubrics, judge biases and validation against human preferences. in practice.

Kapcsolódó útmutató utakLLM bíróként
kérdés 1 -ból 8

Mire utal az „LLM-mint bíró”?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mire utal az „LLM-mint bíró”?
    • Egy nyelvi modell használata egy másik modell kimeneteinek pontozására vagy összehasonlítására
    • Nyelvi modell használata jogi ítéletek megírásához
    • Egy modell, amely csak igen/nem kérdésekre válaszol
    • A keresési eredményeket dátum szerint rangsoroló modell
  2. Mi a különbség a pontonkénti és a páros bírálat között?
    • Pointwise gyorsabb; páronként lassabb, de egyébként azonos
    • Pointwise osztályoz egy választ egy rubrikához képest; páronként kiválasztja a kettő közül a jobbat
    • A Pointwise csak kód esetén működik; páronként csak a prózához
    • Nincs igazi különbség
  3. Ezek közül melyik a jól dokumentált elfogultság az LLM bíráknál?
    • A csupa nagybetűvel írt válaszok előnyben részesítése
    • Mindig előnyben részesítve az első szót ábécé sorrendben
    • Hosszabb válaszok előnyben részesítése minőségtől függetlenül
    • A történelemmel kapcsolatos kérdések osztályozásának megtagadása
  4. Hogyan ellensúlyozzák az értékelők általában a pozíció elfogultságát a páronkénti összehasonlításban?
    • Egyszerre csak egy válasz megjelenítésével
    • Úgy, hogy mindig a hosszabb választ helyezi előtérbe
    • Az indokolás mező törlésével
    • Minden összehasonlítás kétszeri futtatásával a kicserélt rendeléssel
  5. What evaluation procedure did G-Eval use for generated text?
    • Chain-of-thought steps followed by a form-filling evaluation against criteria
    • A speaker verification threshold
    • A search index with BM25 only
    • An image classifier trained on screenshots
  6. Hogyan tudja egy csapat megerősíteni, hogy egy LLM-bíró igazodik az emberi preferenciákhoz?
    • Úgy, hogy soha többé nem ellenőrzi a beállítás után
    • Egy ember által feliratozott aranykészlethez kalibrálva
    • Azáltal, hogy magát a bírót minősíti
    • Csak hétvégén használva
  7. What is self-preference bias in LLM-based evaluation?
    • A judge always selects the shortest answer
    • A judge cannot compare two outputs
    • A judge favors outputs generated by its own model or model family
    • A judge evaluates only audio signals
  8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
    • The position of the answer in a pairwise comparison
    • The judge model’s parameter count only
    • A count of citations in the answer
    • Probability weights over the candidate score tokens