Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Bài kiểm tra trước khi đào tạo ELECTRA

Giải thích vai trò phát hiện mã thông báo được thay thế, vai trò của trình tạo và trình phân biệt đối xử, tìm hiểu về các vị trí mã thông báo và các giới hạn của so sánh điện toán.

Đường dẫn hướng dẫn liên quanĐào tạo trước Electra
Câu hỏi 1 của 8

ELECTRA sử dụng nhiệm vụ đào tạo trước nào thay vì lập mô hình ngôn ngữ ẩn?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. ELECTRA sử dụng nhiệm vụ đào tạo trước nào thay vì lập mô hình ngôn ngữ ẩn?
    • Phát hiện mã thông báo được thay thế
    • Dự đoán câu tiếp theo
    • Dự đoán từ tiếp theo tự động hồi quy
    • Mô hình ngôn ngữ hoán vị
  2. Tại sao ELECTRA tính toán hiệu quả hơn BERT?
    • Nó sử dụng vốn từ vựng nhỏ hơn nhiều
    • Nó tính toán tín hiệu học tập trên tất cả các mã thông báo, không chỉ các mã bị che
    • Nó chỉ đào tạo trên 15% mã thông báo bị che giấu
    • Nó bỏ qua cơ chế chú ý hoàn toàn
  3. Mạng máy phát điện nhỏ có vai trò gì trong ELECTRA?
    • Nó xếp hạng các kết quả đầu ra cuối cùng theo chất lượng
    • Nó nén mô hình sau khi đào tạo
    • Nó tạo ra các token thay thế hợp lý để người phân biệt đối xử đánh giá
    • Nó dịch văn bản giữa các ngôn ngữ
  4. Điều gì xảy ra với máy phát điện sau khi quá trình đào tạo trước hoàn tất?
    • Nó được tinh chỉnh cho nhiệm vụ xuôi dòng
    • Nó được hợp nhất với bộ phân biệt đối xử
    • Nó trở thành bộ giải mã cho thế hệ
    • Nó bị loại bỏ; chỉ có bộ phân biệt đối xử được sử dụng
  5. ELECTRA được phát triển chủ yếu bởi các nhà nghiên cứu từ tổ chức nào?
    • Google và Stanford
    • Meta AI và NYU
    • OpenAI và Microsoft
    • DeepMind và Oxford
  6. Mô hình nào sau này đã mở rộng ý tưởng phát hiện mã thông báo thay thế của ELECTRA?
    • GPT-2
    • DeBERTa-v3
    • T5
    • Word2Vec
  7. What happens if ELECTRA’s generator proposes the original token at a position?
    • It is always labeled replaced because the generator proposed it
    • The position is removed from the input
    • That token is treated as original by the discriminator’s replaced-token label
    • The whole sequence is discarded
  8. When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
    • Compare model names alone
    • Assume every ELECTRA run uses one fixed compute ratio
    • Ignore generator training cost
    • Specify model size, data, training budget, and evaluation setting