Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Bài kiểm tra về xu hướng lấy mẫu và phơi nhiễm theo lịch trình

Kiểm tra cách lấy mẫu theo lịch trình thay đổi bối cảnh của bộ giải mã, tại sao xác suất mã thông báo vàng của nó giảm dần và sự cân bằng độ dốc của việc lấy mẫu.

Đường dẫn hướng dẫn liên quanLấy mẫu theo lịch trình và độ lệch phơi nhiễm
Câu hỏi 1 của 8

Xu hướng tiếp xúc phát sinh do các mô hình được đào tạo với giáo viên chỉ buộc điều kiện vào:

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Xu hướng tiếp xúc phát sinh do các mô hình được đào tạo với giáo viên chỉ buộc điều kiện vào:
    • Mã thông báo thực tế, nhưng phải sử dụng mã thông báo của chính chúng khi suy luận
    • Mã thông báo dự đoán của riêng họ
    • Mã thông báo tiếng ồn ngẫu nhiên
    • Token tương lai
  2. Lấy mẫu theo lịch trình làm gì trong quá trình đào tạo?
    • Luôn cung cấp mã thông báo thực sự
    • Chọn ngẫu nhiên giữa mã thông báo thực và dự đoán của chính mô hình
    • Vô hiệu hóa chức năng mất định kỳ
    • Nhân đôi tốc độ học tập theo thời gian
  3. Xác suất sử dụng mã thông báo thực tế thay đổi như thế nào trong quá trình đào tạo lấy mẫu theo lịch trình?
    • Nó không đổi
    • Nó bắt đầu ở mức thấp và tăng lên
    • Nó bắt đầu ở mức cao và giảm dần về 0
    • Nó dao động ngẫu nhiên
  4. Ai đã giới thiệu việc lấy mẫu theo lịch trình và khoảng thời gian nào?
    • Vaswani và cộng sự, 2017
    • Hinton và cộng sự, 2006
    • LeCun và cộng sự, 1998
    • Bengio và cộng sự, 2015
  5. Một nhược điểm kỹ thuật được công nhận của việc cung cấp lại mã thông báo được lấy mẫu trong quá trình đào tạo là:
    • Bước lấy mẫu rời rạc không phân biệt được, làm phức tạp độ dốc
    • Nó làm cho việc đào tạo mang tính quyết định hoàn toàn
    • Nó không yêu cầu dữ liệu xác nhận
    • Nó loại bỏ sự cần thiết phải nhúng
  6. Hình dạng lịch trình nào thường được coi là nguyên nhân làm giảm xác suất ép buộc của giáo viên?
    • Hằng số
    • Phân rã nghịch đảo sigmoid
    • Tăng tuyến tính từng bước
    • Bước đi ngẫu nhiên
  7. At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
    • The next ground-truth token every time
    • A token from a separate validation sequence
    • A token sampled from the model’s predicted distribution
    • The average of all vocabulary embeddings
  8. Why does scheduled sampling usually begin with a high probability of using ground truth?
    • It guarantees unbiased gradients
    • It removes the need for a training schedule
    • It makes inference use ground-truth tokens
    • Early predictions are poor, so a correct prefix can stabilize initial learning