Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Xây dựng bài kiểm tra tập dữ liệu đánh giá LLM

Các bài kiểm tra tìm nguồn trường hợp thực tế, câu trả lời vàng so với bảng tự đánh giá, phạm vi trường hợp cụ thể và định cỡ bộ đánh giá để sự khác biệt về điểm số là có ý nghĩa.

Đường dẫn hướng dẫn liên quanXây dựng bộ dữ liệu đánh giá LLM
Câu hỏi 1 của 8

Hướng dẫn đề xuất nguồn nào là nguồn khởi đầu tốt nhất cho các trường hợp eval?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Hướng dẫn đề xuất nguồn nào là nguồn khởi đầu tốt nhất cho các trường hợp eval?
    • Chỉ các câu hỏi tổng hợp do LLM tạo
    • Bảng xếp hạng điểm chuẩn công khai
    • Văn bản ngẫu nhiên được lấy từ internet
    • Việc sử dụng thực tế, chẳng hạn như nhật ký, phiếu hỗ trợ và truy vấn tìm kiếm
  2. Khi nào một phiếu tự đánh giá thích hợp hơn một câu trả lời vàng duy nhất?
    • Đối với nhiệm vụ phân loại có nhãn cố định
    • Đối với các bài tập mở có nhiều cách diễn đạt khác nhau có thể đúng
    • Để trích xuất số hóa đơn chính xác
    • Một phiếu tự đánh giá không bao giờ phù hợp hơn
  3. Tiêu chí nào sau đây là tiêu chí đánh giá được viết tốt?
    • Hữu ích
    • Nghe có vẻ tự nhiên
    • Đề cập đến thời hạn hoàn trả
    • Chất lượng cao
  4. Với 100 trường hợp đạt/không đạt và tỷ lệ đạt gần 80%, hướng dẫn nói gì về tỷ lệ sai sót?
    • Nó gần như cộng hoặc trừ 8 điểm phần trăm, vì vậy việc cải thiện hai điểm có vẻ giống như tiếng ồn
    • Đó là khoảng cộng hoặc trừ 0,1 điểm phần trăm
    • Nó chính xác bằng không
    • Đó là khoảng cộng hoặc trừ 50 điểm phần trăm
  5. Mục đích của một lát hồi quy là gì?
    • Để tự động xóa các trường hợp lỗi thời
    • Để tăng tốc độ phản hồi của mô hình
    • Để giữ lại các lỗi trong quá khứ để các bản sửa lỗi luôn được kiểm tra
    • Để đào tạo mô hình về những sai lầm của chính nó
  6. Bạn nên làm gì trước khi tin tưởng thẩm phán LLM chấm điểm các mục trong phiếu tự đánh giá?
    • Tăng nhiệt độ của thẩm phán
    • Bỏ phần đánh giá để thẩm phán có thể tự do quyết định
    • Kiểm tra thẩm phán trong một trường hợp duy nhất
    • Yêu cầu mọi người dán nhãn cho một mẫu và đo mức độ thường xuyên mà thẩm phán đồng ý với họ
  7. Tại sao lại giữ lại một phần của tập dữ liệu mà bạn không điều chỉnh?
    • Để tránh lời nhắc trang bị quá mức cho tập kiểm tra
    • Để tiết kiệm không gian lưu trữ
    • Vì quy định yêu cầu
    • Để giảm độ trễ
  8. Tại sao việc so sánh theo cặp trong cùng một trường hợp lại hữu ích khi so sánh hai phiên bản?
    • Họ loại bỏ sự cần thiết của bất kỳ học sinh lớp nào
    • Họ thường cần ít ví dụ hơn so với việc so sánh các mẫu độc lập
    • Họ loại bỏ tất cả tính không xác định khỏi kết quả đầu ra của mô hình
    • Họ đảm bảo một điểm số hoàn hảo