แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบ LLM-as-a-Judge
ทบทวนการประเมินตามแบบจำลอง รูบริกแบบ pointwise และ pairwise ตัดสินอคติ และการตรวจสอบความถูกต้องกับความชอบของมนุษย์ ในทางปฏิบัติ
คำถาม 1 ของ 8
'LLM-as-a-judge' หมายถึงอะไร?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- 'LLM-as-a-judge' หมายถึงอะไร?
- การใช้โมเดลภาษาหนึ่งเพื่อให้คะแนนหรือเปรียบเทียบผลลัพธ์ของโมเดลอื่น
- การใช้แบบจำลองภาษาในการเขียนคำพิพากษาทางกฎหมาย
- โมเดลที่ตอบเฉพาะคำถามใช่/ไม่ใช่เท่านั้น
- โมเดลที่จัดอันดับผลการค้นหาตามวันที่
- การตัดสินแบบ pointwise และ pairwise แตกต่างกันอย่างไร?
- Pointwise นั้นเร็วกว่า การจับคู่จะช้ากว่าแต่ก็เหมือนกัน
- Pointwise ให้คะแนนหนึ่งคำตอบเทียบกับรูบริก จับคู่เลือกสิ่งที่ดีกว่าของทั้งสอง
- Pointwise ใช้ได้กับโค้ดเท่านั้น จับคู่เพื่อร้อยแก้วเท่านั้น
- ไม่มีความแตกต่างที่แท้จริง
- ข้อใดต่อไปนี้เป็นอคติที่ได้รับการบันทึกไว้อย่างดีในการตัดสินของ LLM
- ชอบคำตอบที่เขียนด้วยตัวพิมพ์ใหญ่ทั้งหมด
- เลือกคำแรกตามลำดับตัวอักษรเสมอ
- ชอบคำตอบที่ยาวขึ้นโดยไม่คำนึงถึงคุณภาพ
- ปฏิเสธที่จะให้คะแนนคำถามเกี่ยวกับประวัติศาสตร์
- ผู้ประเมินมักจะตอบโต้อคติตำแหน่งในการเปรียบเทียบแบบคู่ได้อย่างไร
- โดยแสดงเพียงคำตอบเดียวในแต่ละครั้ง
- โดยใส่คำตอบที่ยาวไว้ก่อนเสมอ
- โดยการลบฟิลด์เหตุผล
- โดยดำเนินการเปรียบเทียบแต่ละครั้งสองครั้งโดยสลับลำดับ
- What evaluation procedure did G-Eval use for generated text?
- Chain-of-thought steps followed by a form-filling evaluation against criteria
- A speaker verification threshold
- A search index with BM25 only
- An image classifier trained on screenshots
- ทีมจะยืนยันได้อย่างไรว่าผู้ตัดสิน LLM ยังคงสอดคล้องกับความชอบของมนุษย์
- โดยไม่เคยตรวจสอบอีกครั้งหลังจากตั้งค่า
- โดยการสอบเทียบกับชุดทองคำที่เขียนโดยมนุษย์
- โดยทำให้การให้คะแนนของผู้พิพากษานั้นเอง
- โดยใช้งานเฉพาะวันหยุดสุดสัปดาห์เท่านั้น
- What is self-preference bias in LLM-based evaluation?
- A judge always selects the shortest answer
- A judge cannot compare two outputs
- A judge favors outputs generated by its own model or model family
- A judge evaluates only audio signals
- What does G-Eval use to make its discrete score more fine-grained in the reported method?
- The position of the answer in a pairwise comparison
- The judge model’s parameter count only
- A count of citations in the answer
- Probability weights over the candidate score tokens