Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ
Câu đố về mô hình BERT và bộ mã hóa
Xem lại bối cảnh BERT, đào tạo trước theo mặt nạ, bộ mã hóa, khả năng thích ứng, cách trình bày, các biến thể hiệu quả, mục tiêu câu tiếp theo và nội dung nhúng đầu vào.
Câu hỏi 1 của 8
Sự chú ý hai chiều nào cho phép truy cập theo ngữ cảnh trong đầu vào bộ mã hóa BERT ban đầu?
Xem trước mọi câu hỏi8 câu hỏi
Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.
- Sự chú ý hai chiều nào cho phép truy cập theo ngữ cảnh trong đầu vào bộ mã hóa BERT ban đầu?
- Information from both left and right within the allowed input
- Only the previous token in every layer
- Only a second unrelated language
- A guarantee of two correct answers to every question
- Mục tiêu đào tạo trước BERT ban đầu nào dự đoán danh tính mã thông báo đã chọn bằng cách sử dụng bối cảnh xung quanh?
- Only next-token prediction under a causal mask
- Only human-written class labels for complete documents
- Only a fixed image reconstruction objective
- Mô hình ngôn ngữ đeo mặt nạ
- Thành phần máy biến áp nào cung cấp kiến trúc biểu diễn BERT gốc?
- Only the autoregressive decoder
- The encoder
- A recurrent-only sequence network
- A convolution-only image decoder
- Trình tự các giai đoạn đào tạo nào được minh họa bằng quá trình đào tạo trước BERT, sau đó là tinh chỉnh xuôi dòng?
- Always train a completely new network from random parameters for every example
- Apply the task head before creating any learned representation
- Learn a corpus-based starting representation, then adapt it to a defined task
- Guarantee that every target task uses no labeled data
- Bộ mã hóa BERT ban đầu có thể cung cấp đầu ra nào cho các đầu phân loại hoặc dự đoán nhịp?
- Only a long autoregressive continuation in every task
- Dạng sóng âm thanh thô
- Pixel-level image output
- Contextual text representations
- Which comparison accurately distinguishes the parameter-related designs of DistilBERT and ALBERT?
- DistilBERT uses distillation; ALBERT uses factorized embeddings and cross-layer sharing
- Both are guarantees of identical speed and accuracy on every task
- Both replace all text input with image pixels
- Neither retains any learned encoder representation
- Which label distinction is used in the original BERT next-sentence prediction task?
- A positive versus negative product review
- A token's verb tense versus noun number
- An actual next sentence versus a randomly sampled alternative
- A source sentence's font size versus text color
- Which three representations are added in the original BERT input embedding?
- Only a single corpus-frequency number
- Token, position, and segment embeddings
- Decoder probabilities, image pixels, and audio pitch
- Only one fixed vector shared by every input position