แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบ LLM-as-a-Judge

ทบทวนการประเมินตามแบบจำลอง รูบริกแบบ pointwise และ pairwise ตัดสินอคติ และการตรวจสอบความถูกต้องกับความชอบของมนุษย์ ในทางปฏิบัติ

เส้นทางแนะนำที่เกี่ยวข้องLLM ในฐานะผู้พิพากษา
คำถาม 1 ของ 8

'LLM-as-a-judge' หมายถึงอะไร?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. 'LLM-as-a-judge' หมายถึงอะไร?
    • การใช้โมเดลภาษาหนึ่งเพื่อให้คะแนนหรือเปรียบเทียบผลลัพธ์ของโมเดลอื่น
    • การใช้แบบจำลองภาษาในการเขียนคำพิพากษาทางกฎหมาย
    • โมเดลที่ตอบเฉพาะคำถามใช่/ไม่ใช่เท่านั้น
    • โมเดลที่จัดอันดับผลการค้นหาตามวันที่
  2. การตัดสินแบบ pointwise และ pairwise แตกต่างกันอย่างไร?
    • Pointwise นั้นเร็วกว่า การจับคู่จะช้ากว่าแต่ก็เหมือนกัน
    • Pointwise ให้คะแนนหนึ่งคำตอบเทียบกับรูบริก จับคู่เลือกสิ่งที่ดีกว่าของทั้งสอง
    • Pointwise ใช้ได้กับโค้ดเท่านั้น จับคู่เพื่อร้อยแก้วเท่านั้น
    • ไม่มีความแตกต่างที่แท้จริง
  3. ข้อใดต่อไปนี้เป็นอคติที่ได้รับการบันทึกไว้อย่างดีในการตัดสินของ LLM
    • ชอบคำตอบที่เขียนด้วยตัวพิมพ์ใหญ่ทั้งหมด
    • เลือกคำแรกตามลำดับตัวอักษรเสมอ
    • ชอบคำตอบที่ยาวขึ้นโดยไม่คำนึงถึงคุณภาพ
    • ปฏิเสธที่จะให้คะแนนคำถามเกี่ยวกับประวัติศาสตร์
  4. ผู้ประเมินมักจะตอบโต้อคติตำแหน่งในการเปรียบเทียบแบบคู่ได้อย่างไร
    • โดยแสดงเพียงคำตอบเดียวในแต่ละครั้ง
    • โดยใส่คำตอบที่ยาวไว้ก่อนเสมอ
    • โดยการลบฟิลด์เหตุผล
    • โดยดำเนินการเปรียบเทียบแต่ละครั้งสองครั้งโดยสลับลำดับ
  5. What evaluation procedure did G-Eval use for generated text?
    • Chain-of-thought steps followed by a form-filling evaluation against criteria
    • A speaker verification threshold
    • A search index with BM25 only
    • An image classifier trained on screenshots
  6. ทีมจะยืนยันได้อย่างไรว่าผู้ตัดสิน LLM ยังคงสอดคล้องกับความชอบของมนุษย์
    • โดยไม่เคยตรวจสอบอีกครั้งหลังจากตั้งค่า
    • โดยการสอบเทียบกับชุดทองคำที่เขียนโดยมนุษย์
    • โดยทำให้การให้คะแนนของผู้พิพากษานั้นเอง
    • โดยใช้งานเฉพาะวันหยุดสุดสัปดาห์เท่านั้น
  7. What is self-preference bias in LLM-based evaluation?
    • A judge always selects the shortest answer
    • A judge cannot compare two outputs
    • A judge favors outputs generated by its own model or model family
    • A judge evaluates only audio signals
  8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
    • The position of the answer in a pairwise comparison
    • The judge model’s parameter count only
    • A count of citations in the answer
    • Probability weights over the candidate score tokens