Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ
Bài kiểm tra chú ý nhiều truy vấn
Kiểm tra cách Chú ý nhiều truy vấn chia sẻ các đầu khóa-giá trị, giảm lưu lượng bộ đệm và liên quan đến sự chú ý truy vấn được nhóm trong mô hình bộ giải mã.
Câu hỏi 1 của 8
Chú ý nhiều truy vấn chia sẻ điều gì trên tất cả các đầu chú ý?
Xem trước mọi câu hỏi8 câu hỏi
Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.
- Chú ý nhiều truy vấn chia sẻ điều gì trên tất cả các đầu chú ý?
- Một bộ khóa và giá trị
- Các phép chiếu truy vấn
- Nhiệt độ softmax
- Trọng lượng lớp đầu ra
- Nút thắt chính mà MQA giải quyết trong quá trình tạo tự hồi quy là gì?
- Thông lượng tính toán dấu phẩy động
- Băng thông bộ nhớ từ việc tải bộ đệm KV
- Số đợt đào tạo
- Kích thước từ vựng của tokenizer
- MQA thu nhỏ bộ đệm KV theo yếu tố nào?
- Theo độ dài chuỗi
- Theo kích thước lô
- Theo số lượng người đứng đầu chú ý
- Nó không thay đổi kích thước bộ đệm KV
- Sự đánh đổi chính của việc sử dụng MQA là gì?
- Suy luận chậm hơn nhiều
- Nó không còn có thể sử dụng nhiều đầu nữa
- Nó đòi hỏi nhiều dữ liệu đào tạo hơn
- Chất lượng mô hình giảm nhẹ
- Biến thể nào nằm giữa sự chú ý nhiều đầu tiêu chuẩn và MQA?
- Chú ý truy vấn được nhóm
- Chú ý cửa sổ trượt
- Chú ý chớp nhoáng
- Chú ý thưa thớt
- Ai đã đề xuất Chú ý nhiều truy vấn?
- Geoffrey Hinton
- Noam Shazeer
- Yann LeCun
- Andrej Karpathy
- In Multi-Query Attention, what remains separate for each attention head?
- The shared key projection
- The shared value projection
- The query projection
- The token sequence itself
- How does Grouped-Query Attention differ from standard MQA?
- It shares query projections but gives every head separate keys and values
- It removes attention and replaces it with a recurrent layer
- It groups output vocabulary tokens instead of attention heads
- It shares keys and values within several groups of query heads rather than across all heads at once