Kvíz spojený s průvodcem · Těžko úroveň

Kvíz pro párové hodnocení a hodnocení Elo

Rozlišujte mezi párovými preferencemi a absolutními skóre, aktualizacemi Elo a odhady Bradleyho-Terryho modelu a mezi žebříčky a nároky na univerzální kvalitu.

Otázka 1 z 8

Které omezení může párové hodnocení omezit ve srovnání s absolutním skóre 1 až 5?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Které omezení může párové hodnocení omezit ve srovnání s absolutním skóre 1 až 5?
    • Může snížit neshody způsobené různým používáním číselné stupnice.
    • Odstraňuje veškerou zaujatost hodnotitelů.
    • Zaručuje faktickou přesnost
    • Eliminuje potřebu vzorkovat prompty.
  2. Která reálná platforma je uváděna jako příklad využívající párová srovnání ve velkém měřítku pro hodnocení modelů?
    • Burza cenných papírů
    • Chatbot Arena
    • Služba pro předpověď počasí
    • Platforma pro streamování videa
  3. Odkud původně pochází systém hodnocení Elo používaný pro srovnávání LLM?
    • Bodování úvěruschopnosti
    • Hodnocení vyhledávačů
    • Šachové hodnocení
    • Modely předpovědi počasí
  4. Co odhaduje Bradleyho-Terryho model z výsledků párových srovnání?
    • Univerzální absolutní skóre kvality
    • Počet tokenů v každé odpovědi
    • Záruku, že každý volič souhlasí
    • Latentní parametr síly související s pravděpodobností, že jedna položka porazí druhou
  5. Proč je při použití LLM jako rozhodčího pro párová srovnání důležité náhodné uspořádání výstupů?
    • Kontroluje zaujatost vůči pozici, kdy může hodnotitel upřednostnit výstup zobrazený jako první
    • Zrychluje průběh srovnání
    • Snižuje náklady na API pro srovnání
    • Vyžadují to pravidla protokolu MCP
  6. Podle podrobné analýzy, co by se mělo brát s rezervou ohledně Elo hodnocení z velmi malého počtu porovnání?
    • Že jsou vždy vyšší, než by měly být
    • Že nesou reálnou nejistotu a neměly by být považovány za přesné, dokud se nenahromadí dostatek porovnání
    • Že je lze vypočítat pouze pro právě dva soutěžící
    • Že je nelze vizualizovat v žebříčku
  7. Při aktualizaci Elo, co určuje, o kolik se hodnocení změní po jediném zápase?
    • Abecední pořadí jmen soutěžících
    • Celkový počet soutěžících v žebříčku
    • Rozdíl mezi skutečným výsledkem a očekávaným výsledkem, škálovaný konstantou K
    • Délka vstupního promptu
  8. Proč by prompt inženýr mohl uprostřed projektu přejít z absolutního bodování 1-5 na párové porovnání?
    • Protože párová porovnání jsou vždy levnější na provoz
    • Protože absolutní bodování nepodporuje žádný nástroj
    • Protože párová porovnání nevyžadují vůbec žádného rozhodčího
    • Protože absolutní skóre se shlukovala blízko horní hranice stupnice, což poskytovalo malé rozlišení mezi verzemi promptů