Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ
Câu đố giải mã tương phản
Kiểm tra tính điểm chuyên nghiệp-nghiệp dư, ngăn chặn mã thông báo chia sẻ, lọc tính hợp lý, sử dụng thời gian giải mã và đánh giá việc tạo tương phản.
Câu hỏi 1 của 8
Trong giải mã tương phản, mô hình “nghiệp dư” nhỏ đóng vai trò gì?
Xem trước mọi câu hỏi8 câu hỏi
Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.
- Trong giải mã tương phản, mô hình “nghiệp dư” nhỏ đóng vai trò gì?
- Xác suất nhật ký của nó bị trừ đi để ngăn chặn các chế độ lỗi chung
- Nó tạo ra văn bản đầu ra cuối cùng trực tiếp
- Nó được tinh chỉnh trên những sai lầm của chuyên gia
- Nó thay thế chuyên gia khi chuyên gia không chắc chắn
- Tại sao việc trừ đi xác suất của người nghiệp dư lại làm giảm sự lặp lại và kết quả nhàm chán?
- Người nghiệp dư được huấn luyện không bao giờ lặp lại lời nói
- Các mã thông báo chung và lặp lại đều được cả hai mô hình ưa chuộng, do đó độ tương phản sẽ loại bỏ chúng
- Người nghiệp dư xóa các mã thông báo trùng lặp sau khi tạo
- Sự lặp lại là không thể khi hai người mẫu bỏ phiếu
- What does the adaptive plausibility constraint do in contrastive decoding?
- It guarantees every remaining continuation is coherent and true
- It replaces the expert distribution with the amateur distribution
- It filters out candidates whose expert probability is too low relative to the expert’s top token
- It forces every token to have equal probability
- Đại khái công thức tính điểm trong giải mã tương phản là gì?
- log p_amateur trừ log p_expert
- p_expert lần p_amateur
- Trung bình cộng của hai xác suất
- log p_expert trừ hệ số nhân log p_amateur
- Ưu điểm thực tế quan trọng của giải mã tương phản là nó:
- Hoạt động tại thời điểm suy luận mà không cần đào tạo thêm
- Yêu cầu đào tạo lại cả hai mô hình cùng nhau
- Chỉ hoạt động trên các nhiệm vụ phân loại
- Loại bỏ sự cần thiết của một mô hình lớn
- Phương pháp nào sau này mở rộng ý tưởng tương phản sang các lớp riêng của một mô hình?
- Tìm kiếm tia
- DoLa, tương phản các lớp sớm và muộn
- Giải mã tham lam
- Chia tỷ lệ nhiệt độ
- The expert assigns probability 0.4 to its top token and the plausibility threshold is 0.1 of that value. What is the minimum probability for a candidate to remain eligible?
- 0.4
- 0,1
- 0.04
- 0.004
- Why can contrastive decoding require more inference work than using the expert model alone?
- It must retrain both models for every prompt
- It replaces the vocabulary with image patches
- It runs only the amateur model
- It scores candidates with both an expert and an amateur model at inference time