Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Câu hỏi về mô hình hoán vị XLNet

Kiểm tra hệ số hoán vị, sự chú ý hai luồng, độ lặp lại của Transformer-XL và mức độ xác nhận điểm chuẩn phụ thuộc vào cài đặt có thể so sánh.

Đường dẫn hướng dẫn liên quanMô hình hoán vị Xlnet
Câu hỏi 1 của 8

XLNet sử dụng mục tiêu đào tạo trước nào?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. XLNet sử dụng mục tiêu đào tạo trước nào?
    • Mô hình ngôn ngữ hoán vị
    • Mô hình ngôn ngữ đeo mặt nạ
    • Phát hiện mã thông báo được thay thế
    • Dự đoán câu tiếp theo
  2. Điểm yếu BERT nào được XLNet thiết kế đặc biệt để giải quyết?
    • BERT quá nhỏ
    • Mã thông báo [MASK] gây ra sự không khớp trước/tinh chỉnh và giả định tính độc lập của mã thông báo bị che
    • BERT không thể xử lý các câu ngắn
    • BERT thiếu mã hóa vị trí
  3. Tính năng tự chú ý hai luồng của XLNet tách biệt điều gì?
    • Lớp mã hóa và giải mã
    • Đồ thị huấn luyện và suy luận
    • Luồng nội dung và luồng truy vấn
    • Nhúng mã thông báo và câu
  4. XLNet có xáo trộn các từ trong câu một cách vật lý không?
    • Có, nó sắp xếp lại ngẫu nhiên các token thực tế
    • Có, nhưng chỉ trong quá trình tinh chỉnh
    • Không, nó không bao giờ thay đổi bất kỳ thứ tự nào cả
    • Không, nó hoán vị thứ tự phân tích nhân tử bằng cách sử dụng mặt nạ chú ý trong khi vẫn giữ vị trí
  5. Kiến trúc nào đóng vai trò là xương sống của XLNet cho bối cảnh tầm xa?
    • Máy biến áp-XL
    • LSTM
    • Máy biến áp vani nguyên bản
    • Mạng tích chập
  6. How does XLNet combine bidirectional context with autoregressive prediction?
    • It predicts all tokens independently with no attention mask
    • It predicts in sampled factorization orders without inserting a [MASK] input token, using attention masks
    • It physically shuffles the sentence before every prediction
    • It replaces autoregressive prediction with a denoising autoencoder
  7. For a token sequence A B C, suppose a sampled factorization order predicts C before A and B. What context is available when predicting C?
    • The tokens A and B must always be provided first
    • Only the next sentence is available
    • No earlier tokens in that sampled order, although C remains at its original input position
    • The input sequence is physically reordered to C A B
  8. How does XLNet prevent the target token from leaking into its own prediction query?
    • It removes the target from the entire training sequence
    • It uses the target’s label as an input embedding
    • It replaces the token with a [MASK] symbol
    • The query stream represents the target position without its token content