Maswali yanayounganishwa na mwongozo · Kati Kiwango

Maswali ya LLM-as-a-Jaji

Kagua tathmini kulingana na mfano, rubriki zenye mwelekeo na pande mbili, tathmini upendeleo na uthibitisho dhidi ya mapendeleo ya binadamu. kwa vitendo.

Njia za mwongozo zinazohusianaLLM Kama Jaji
Swali 1 ya 8

Je, 'LLM-as-a-judge' inarejelea nini?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Je, 'LLM-as-a-judge' inarejelea nini?
    • Kutumia modeli ya lugha moja kupata alama au kulinganisha matokeo ya muundo mwingine
    • Kutumia modeli ya lugha kuandika maamuzi ya kisheria
    • Mfano unaojibu tu maswali ya ndiyo/hapana
    • Muundo unaoorodhesha matokeo ya utafutaji kwa tarehe
  2. Kuna tofauti gani kati ya kuhukumu kwa pointwise na pairwise?
    • Pointwise ni kasi; pairwise ni polepole lakini inafanana vinginevyo
    • Alama za nukta jibu moja dhidi ya rubriki; jozi huchagua bora kati ya mbili
    • Pointwise inafanya kazi tu kwa nambari; jozi tu kwa nathari
    • Hakuna tofauti ya kweli
  3. Ni ipi kati ya hizi ambayo ni upendeleo uliothibitishwa vizuri katika majaji wa LLM?
    • Kupendelea majibu yaliyoandikwa kwa herufi kubwa zote
    • Daima hupendelea neno la kwanza kwa alfabeti
    • Kupendelea majibu marefu bila kujali ubora
    • Kukataa maswali ya daraja kuhusu historia
  4. Je, watathmini kwa kawaida hupinga upendeleo wa nafasi katika ulinganisho wa jozi?
    • Kwa kuonyesha jibu moja tu kwa wakati mmoja
    • Kwa kuweka jibu refu zaidi kila wakati
    • Kwa kufuta uga wa uhalalishaji
    • Kwa kuendesha kila kulinganisha mara mbili na agizo lililobadilishwa
  5. What evaluation procedure did G-Eval use for generated text?
    • Chain-of-thought steps followed by a form-filling evaluation against criteria
    • A speaker verification threshold
    • A search index with BM25 only
    • An image classifier trained on screenshots
  6. Je, timu inawezaje kuthibitisha kuwa jaji wa LLM anakaa kulingana na matakwa ya binadamu?
    • Kwa kutoiangalia tena baada ya kusanidi
    • Kwa kuirekebisha dhidi ya seti ya dhahabu iliyoandikwa na binadamu
    • Kwa kumfanya hakimu ajipange mwenyewe
    • Kwa kuitumia wikendi tu
  7. What is self-preference bias in LLM-based evaluation?
    • A judge always selects the shortest answer
    • A judge cannot compare two outputs
    • A judge favors outputs generated by its own model or model family
    • A judge evaluates only audio signals
  8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
    • The position of the answer in a pairwise comparison
    • The judge model’s parameter count only
    • A count of citations in the answer
    • Probability weights over the candidate score tokens