แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบความสนใจแบบสอบถามแบบจัดกลุ่ม
ตรวจสอบว่าความสนใจในการสืบค้นแบบกลุ่มแบ่งปันส่วนหัวของคีย์/ค่า ลดต้นทุนแคชเวลาสร้าง และสามารถรับจากจุดตรวจสอบที่มีอยู่ได้อย่างไร
คำถาม 1 ของ 8
ใน Grouped-Query Attention อะไรถูกใช้ร่วมกันระหว่างกลุ่มของส่วนหัวของเคียวรี
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ใน Grouped-Query Attention อะไรถูกใช้ร่วมกันระหว่างกลุ่มของส่วนหัวของเคียวรี
- หัวคีย์และค่า
- การฉายภาพเอาต์พุตเท่านั้น
- การฝังอินพุต
- อัตราการเรียนรู้
- GQA อธิบายได้ดีที่สุดว่าเป็นจุดกึ่งกลางระหว่างความสุดขั้วสองข้อใด
- ความสับสนและความสนใจ
- ความสนใจแบบหลายหัวเต็มรูปแบบและความสนใจแบบหลายคำค้นหา
- ความแม่นยำ FP32 และ FP8
- รุ่นเข้ารหัสเท่านั้นและรุ่นถอดรหัสเท่านั้น
- GQA มีส่วนใดของการอนุมานที่ทำให้ราคาถูกลงเป็นหลัก
- Tokenization ของพรอมต์
- การคำนวณการสูญเสียการฝึกอบรม
- หน่วยความจำแคช KV และแบนด์วิธระหว่างการสร้าง
- ซอฟต์แม็กซ์สุดท้ายเหนือคำศัพท์
- หากโมเดลมีหัวแบบสอบถาม 32 หัวและกลุ่ม 8 KV แคช KV จะลดลงตามปัจจัยประมาณใด
- ประมาณ 32x
- ประมาณ 2x
- ไม่มีการลด
- ประมาณ 4x
- What quality/speed tradeoff did the GQA paper report in its experiments?
- Quality close to MHA with inference speed closer to MQA
- Lower quality and slower inference than both
- Exactly the same latency and quality for every model
- A result only on image classification
- โมเดลหลายหัวที่มีอยู่มักถูกแปลงเป็น GQA อย่างไร
- โดยการลบชั้นความสนใจทั้งหมด
- โดยขั้นตอนการ 'ยกระดับ' สั้นๆ จากจุดตรวจที่มีอยู่
- โดยการเปลี่ยนไปใช้ tokenizer อื่น
- ไม่สามารถแปลงได้เลย
- Which task families did the GQA paper evaluate?
- Image segmentation and object detection
- Speech synthesis and speaker verification
- Language modeling and machine translation
- Molecular generation and toxicity prediction
- How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
- ประมาณ 50%
- About 100%
- No additional training compute
- ประมาณ 5%