Bài kiểm tra chú ý truy vấn theo nhóm

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Trong Chú ý truy vấn theo nhóm, điều gì được chia sẻ giữa một nhóm đầu truy vấn?
   • Đầu khóa và giá trị
   • Chỉ chiếu đầu ra
   • Các nhúng đầu vào
   • Tỷ lệ học tập
2. GQA được mô tả tốt nhất là điểm trung gian giữa hai thái cực nào?
   • Tích chập và chú ý
   • Chú ý nhiều đầu và chú ý nhiều truy vấn
   • Độ chính xác của FP32 và FP8
   • Các mô hình chỉ bộ mã hóa và chỉ bộ giải mã
3. GQA chủ yếu làm cho phần suy luận nào rẻ hơn?
   • Token hóa lời nhắc
   • Tính toán tổn thất đào tạo
   • Bộ nhớ đệm KV và băng thông của nó trong quá trình tạo
   • Softmax cuối cùng về từ vựng
4. Nếu một mô hình có 32 đầu truy vấn và 8 nhóm KV thì bộ nhớ đệm KV sẽ giảm khoảng bao nhiêu?
   • Khoảng 32x
   • Khoảng 2 lần
   • Không giảm
   • Khoảng 4x
5. What quality/speed tradeoff did the GQA paper report in its experiments?
   • Quality close to MHA with inference speed closer to MQA
   • Lower quality and slower inference than both
   • Exactly the same latency and quality for every model
   • A result only on image classification
6. Các mô hình nhiều đầu hiện tại thường được chuyển đổi sang GQA như thế nào?
   • Bằng cách xóa tất cả các lớp chú ý
   • Bằng một bước 'đào tạo nâng cao' ngắn từ điểm kiểm tra hiện có
   • Bằng cách chuyển sang một tokenizer khác
   • Chúng hoàn toàn không thể được chuyển đổi
7. Which task families did the GQA paper evaluate?
   • Image segmentation and object detection
   • Speech synthesis and speaker verification
   • Language modeling and machine translation
   • Molecular generation and toxicity prediction
8. How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
   • Khoảng 50%
   • About 100%
   • No additional training compute
   • Khoảng 5%