Bài kiểm tra ước tính tương phản lấy mẫu âm và tiếng ồn

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Lấy mẫu âm tính và NCE chủ yếu giải quyết vấn đề gì?
   • Chi phí cao để tính toán một softmax đầy đủ trên một không gian đầu ra rất lớn
   • Trang bị quá mức trên các tập dữ liệu nhỏ
   • Độ dốc biến mất trong các mạng lặp lại
   • Việc thiếu dữ liệu được dán nhãn cho việc học có giám sát
2. Ước tính tương phản tiếng ồn điều chỉnh lại nhiệm vụ học tập như thế nào?
   • Khi hồi quy trên các mục tiêu liên tục
   • Là phân loại nhị phân giữa mẫu dữ liệu thực và mẫu nhiễu
   • Khi phân cụm các điểm không được gắn nhãn
   • Học tập tăng cường kèm theo phần thưởng
3. Mô hình nào đã phổ biến việc lấy mẫu phủ định để học cách nhúng từ?
   • BERT
   • ResNet
   • mô hình Skip-gram của word2vec
   • GPT-2
4. Lấy mẫu âm tính khác với NCE đầy đủ như thế nào?
   • Nó bổ sung thêm các thuật ngữ chuẩn hóa bổ sung để đảm bảo độ chính xác
   • Nó đòi hỏi toàn bộ từ vựng ở mỗi bước
   • Nó sử dụng tổn thất hồi quy thay vì sigmoid
   • Nó loại bỏ các số hạng chuẩn hóa của NCE, làm cho nó nhanh hơn nhưng không phải là công cụ ước tính mật độ nhất quán
5. Tại sao các số âm thường được lấy mẫu từ phân bố unigram được nâng lên lũy thừa 3/4?
   • Để cân bằng ảnh hưởng của các từ thường xuyên và hiếm thay vì lấy mẫu hoàn toàn theo tần suất
   • Bỏ qua hoàn toàn những từ hiếm
   • Để làm cho tất cả các từ có khả năng như nhau
   • Để loại bỏ các từ dừng khỏi quá trình đào tạo
6. For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
   • It computes an exact probability for every vocabulary item
   • The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
   • It eliminates the need to score the positive pair
   • It sorts all words by frequency on each step
7. In skip-gram negative sampling, what is treated as the positive training pair?
   • Two words sampled independently from the noise distribution
   • A word paired with an empty context
   • A word and a context word observed together in the corpus
   • A validation label paired with a model checkpoint
8. Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
   • It always sums over the full vocabulary
   • It requires exact maximum-likelihood normalization
   • It never uses negative examples
   • Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead