Câu đố về cơ chế chú ý

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. What does token attention combine when forming an output representation?
   • Permanent copies of the entire conversation on disk
   • Value information from allowed positions using computed weights
   • Only manually chosen keywords with no learned scores
   • A translation dictionary that removes every other token
2. Bài báo mang tính bước ngoặt nào năm 2017 giới thiệu về kiến trúc máy biến áp?
   • 'Học tập sâu còn lại để nhận dạng hình ảnh'
   • 'Chơi Atari với học tập tăng cường sâu'
   • 'Sự chú ý là tất cả những gì bạn cần'
   • 'Mạng lưới đối thủ sáng tạo'
3. Ba vectơ được tính toán cho mỗi mã thông báo được chú ý là gì?
   • Truy vấn, khóa và giá trị
   • Đầu vào, đầu ra và độ lệch
   • Giá trị trung bình, trung vị và mốt
   • Bộ mã hóa, bộ giải mã và mất mát
4. Trong công thức softmax(QK^T / √d_k) V, tại sao lại chia cho √d_k?
   • Để chuyển kết quả thành số nguyên
   • Để loại bỏ số âm
   • Để làm cho mô hình chạy trên GPU
   • Để giữ cho điểm sản phẩm chấm không trở nên quá lớn trước softmax
5. Why does dense self-attention involve growing pairwise work for very long token sequences?
   • Bởi vì nó phải tải dữ liệu mới từ internet
   • Bởi vì văn bản dài hơn luôn chứa những từ hiếm hơn
   • Bởi vì chi phí tăng theo bình phương độ dài chuỗi (O(n²))
   • Bởi vì nó chuyển sang ngôn ngữ lập trình chậm hơn
6. What capacity does multi-head attention provide through separate learned projections?
   • A guarantee that every head has one unique named meaning
   • Several attention representations that can capture different relationships in parallel
   • Removal of every token embedding
   • A reduction of vocabulary size by definition
7. In a scalar attention example, values two and six receive weights three-quarters and one-quarter. What is their weighted output?
   • Tám
   • bốn
   • Hai
   • Ba
8. What does a causal attention mask prevent in an autoregressive text decoder?
   • Using later token positions when forming the current position's representation
   • Using any previous token
   • Computing any query or key vectors
   • Learning all model parameters