Câu đố lấy mẫu hạt nhân và Top-k

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Việc lấy mẫu top-k hạn chế lựa chọn mã thông báo như thế nào?
   • Nó chỉ giữ k mã thông báo có xác suất cao nhất, sau đó lấy mẫu trong số chúng
   • Nó giữ mã thông báo cho đến khi xác suất tích lũy vượt quá k
   • Nó luôn chọn mã thông báo có khả năng nhất
   • Nó chỉ loại bỏ k mã thông báo ít có khả năng nhất
2. Điều gì định nghĩa 'hạt nhân' trong lấy mẫu hạt nhân (top-p)?
   • K từ thường gặp nhất trong dữ liệu huấn luyện
   • Tập hợp mã thông báo nhỏ nhất có tổng xác suất ít nhất là p
   • Mã thông báo có xác suất cao nhất
   • Tất cả các token có xác suất trên 50%
3. Ưu điểm chính của top-p so với top-k là gì?
   • Tính toán luôn nhanh hơn
   • Nó không bao giờ tạo ra đầu ra ngẫu nhiên
   • Số lượng mã thông báo ứng cử viên thích ứng với độ tin cậy của mô hình
   • Nó bỏ qua xác suất mã thông báo
4. Thông số nhiệt độ làm gì trước khi lấy mẫu?
   • Nó đặt độ dài chuỗi tối đa
   • Nó chọn ngôn ngữ đầu ra
   • Nó đếm kích thước từ vựng
   • Nó điều chỉnh lại phân bố xác suất để sắc nét hơn hoặc phẳng hơn
5. What result did the nucleus-sampling paper report for its tested open-ended generation tasks?
   • It improved diversity without sacrificing fluency and coherence in the reported comparisons
   • It guaranteed factual correctness in every output
   • It eliminated all sampling randomness
   • It improved translation quality on every benchmark
6. For a greedy decoding baseline with no token sampling, how should generation be configured?
   • Disable sampling and use greedy decoding to select the highest-probability token at each step
   • Use high temperature and a large nucleus threshold
   • Randomize the temperature at every step
   • Keep sampling enabled but increase top-p
7. After top-k truncation removes tokens, what happens to the remaining sampling probabilities?
   • They remain assigned their original total mass below one
   • They are replaced with equal probabilities
   • They are renormalized over the retained top-k tokens
   • They are converted into beam-search scores
8. What did Holtzman et al. report about likelihood-maximizing decoding for open-ended text?
   • It always yields the most diverse human-like passages
   • Nó loại bỏ sự cần thiết của một mô hình ngôn ngữ
   • It guarantees factual correctness
   • It can produce bland and repetitive text despite strong likelihood scores