แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบความสนใจแบบสอบถามแบบจัดกลุ่ม

ตรวจสอบว่าความสนใจในการสืบค้นแบบกลุ่มแบ่งปันส่วนหัวของคีย์/ค่า ลดต้นทุนแคชเวลาสร้าง และสามารถรับจากจุดตรวจสอบที่มีอยู่ได้อย่างไร

เส้นทางแนะนำที่เกี่ยวข้องความสนใจแบบสอบถามแบบกลุ่ม
คำถาม 1 ของ 8

ใน Grouped-Query Attention อะไรถูกใช้ร่วมกันระหว่างกลุ่มของส่วนหัวของเคียวรี

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ใน Grouped-Query Attention อะไรถูกใช้ร่วมกันระหว่างกลุ่มของส่วนหัวของเคียวรี
    • หัวคีย์และค่า
    • การฉายภาพเอาต์พุตเท่านั้น
    • การฝังอินพุต
    • อัตราการเรียนรู้
  2. GQA อธิบายได้ดีที่สุดว่าเป็นจุดกึ่งกลางระหว่างความสุดขั้วสองข้อใด
    • ความสับสนและความสนใจ
    • ความสนใจแบบหลายหัวเต็มรูปแบบและความสนใจแบบหลายคำค้นหา
    • ความแม่นยำ FP32 และ FP8
    • รุ่นเข้ารหัสเท่านั้นและรุ่นถอดรหัสเท่านั้น
  3. GQA มีส่วนใดของการอนุมานที่ทำให้ราคาถูกลงเป็นหลัก
    • Tokenization ของพรอมต์
    • การคำนวณการสูญเสียการฝึกอบรม
    • หน่วยความจำแคช KV และแบนด์วิธระหว่างการสร้าง
    • ซอฟต์แม็กซ์สุดท้ายเหนือคำศัพท์
  4. หากโมเดลมีหัวแบบสอบถาม 32 หัวและกลุ่ม 8 KV แคช KV จะลดลงตามปัจจัยประมาณใด
    • ประมาณ 32x
    • ประมาณ 2x
    • ไม่มีการลด
    • ประมาณ 4x
  5. What quality/speed tradeoff did the GQA paper report in its experiments?
    • Quality close to MHA with inference speed closer to MQA
    • Lower quality and slower inference than both
    • Exactly the same latency and quality for every model
    • A result only on image classification
  6. โมเดลหลายหัวที่มีอยู่มักถูกแปลงเป็น GQA อย่างไร
    • โดยการลบชั้นความสนใจทั้งหมด
    • โดยขั้นตอนการ 'ยกระดับ' สั้นๆ จากจุดตรวจที่มีอยู่
    • โดยการเปลี่ยนไปใช้ tokenizer อื่น
    • ไม่สามารถแปลงได้เลย
  7. Which task families did the GQA paper evaluate?
    • Image segmentation and object detection
    • Speech synthesis and speaker verification
    • Language modeling and machine translation
    • Molecular generation and toxicity prediction
  8. How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
    • ประมาณ 50%
    • About 100%
    • No additional training compute
    • ประมาณ 5%