Bài kiểm tra LLM với tư cách là Thẩm phán

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. 'LLM-as-a-thẩm phán' đề cập đến điều gì?
   • Sử dụng một mô hình ngôn ngữ để chấm điểm hoặc so sánh kết quả đầu ra của mô hình khác
   • Sử dụng mô hình ngôn ngữ để viết bản án
   • Mô hình chỉ trả lời câu hỏi có/không
   • Mô hình xếp hạng kết quả tìm kiếm theo ngày
2. Sự khác biệt giữa đánh giá theo điểm và theo cặp là gì?
   • Pointwise nhanh hơn; theo cặp thì chậm hơn nhưng giống hệt nhau
   • Chấm điểm từng câu trả lời theo phiếu tự đánh giá; theo cặp chọn cái tốt hơn trong hai
   • Pointwise chỉ hoạt động với mã; theo cặp chỉ dành cho văn xuôi
   • Không có sự khác biệt thực sự
3. Điều nào trong số này là thành kiến được ghi chép rõ ràng trong các thẩm phán LLM?
   • Ưu tiên câu trả lời được viết bằng tất cả các chữ in hoa
   • Luôn ưu tiên từ đầu tiên theo bảng chữ cái
   • Ưu tiên câu trả lời dài hơn bất kể chất lượng
   • Từ chối chấm điểm các câu hỏi về lịch sử
4. Người đánh giá thường chống lại sự thiên vị vị trí trong so sánh theo cặp như thế nào?
   • Bằng cách chỉ hiển thị một câu trả lời tại một thời điểm
   • Bằng cách luôn đặt câu trả lời dài hơn trước
   • Bằng cách xóa trường biện minh
   • Bằng cách chạy mỗi so sánh hai lần với thứ tự được hoán đổi
5. What evaluation procedure did G-Eval use for generated text?
   • Chain-of-thought steps followed by a form-filling evaluation against criteria
   • A speaker verification threshold
   • A search index with BM25 only
   • An image classifier trained on screenshots
6. Làm cách nào một nhóm có thể xác nhận rằng thẩm phán LLM luôn phù hợp với sở thích của con người?
   • Bằng cách không bao giờ kiểm tra lại sau khi thiết lập
   • Bằng cách hiệu chỉnh nó dựa trên bộ vàng do con người dán nhãn
   • Bằng cách tự chấm điểm cho thẩm phán
   • Bằng cách chỉ sử dụng nó vào cuối tuần
7. What is self-preference bias in LLM-based evaluation?
   • A judge always selects the shortest answer
   • A judge cannot compare two outputs
   • A judge favors outputs generated by its own model or model family
   • A judge evaluates only audio signals
8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
   • The position of the answer in a pairwise comparison
   • The judge model’s parameter count only
   • A count of citations in the answer
   • Probability weights over the candidate score tokens