แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบความสนใจแบบหลายแบบสอบถาม

ทดสอบว่า Multi-Query Attention แชร์ส่วนหัวของคีย์-ค่า ลดการรับส่งข้อมูลแคช และเกี่ยวข้องกับความสนใจของแบบสอบถามที่จัดกลุ่มในโมเดลตัวถอดรหัสอย่างไร

เส้นทางแนะนำที่เกี่ยวข้องความสนใจหลายแบบสอบถาม
คำถาม 1 ของ 8

Multi-Query Attention แบ่งส่วนความสนใจทั้งหมดอย่างไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. Multi-Query Attention แบ่งส่วนความสนใจทั้งหมดอย่างไร
    • ชุดคีย์และค่าชุดเดียว
    • การคาดคะเนแบบสอบถาม
    • อุณหภูมิซอฟต์แม็กซ์
    • น้ำหนักเลเยอร์เอาต์พุต
  2. คอขวดหลักที่ MQA ระบุระหว่างการสร้างการถดถอยอัตโนมัติคืออะไร
    • ปริมาณการประมวลผลแบบทศนิยม
    • แบนด์วิธหน่วยความจำจากการโหลดแคช KV
    • จำนวนยุคการฝึกอบรม
    • ขนาดคำศัพท์ Tokenizer
  3. MQA ลดขนาดแคช KV ประมาณกี่ปัจจัย
    • ตามความยาวของลำดับ
    • ตามขนาดแบทช์
    • ตามจำนวนหัวความสนใจ
    • มันไม่เปลี่ยนขนาดแคช KV
  4. ข้อเสียหลักๆ ของการใช้ MQA คืออะไร
    • การอนุมานช้ากว่ามาก
    • ไม่สามารถใช้หลายหัวได้เลยอีกต่อไป
    • ต้องใช้ข้อมูลการฝึกอบรมที่มากกว่านี้มาก
    • คุณภาพของโมเดลลดลงเล็กน้อย
  5. ตัวแปรใดอยู่ระหว่างความสนใจแบบหลายหัวแบบมาตรฐานกับ MQA
    • ความสนใจแบบสอบถามแบบกลุ่ม
    • หน้าต่างบานเลื่อนให้ความสนใจ
    • ความสนใจแบบแฟลช
    • ความสนใจเบาบาง
  6. ใครเป็นผู้เสนอความสนใจแบบ Multi-Query?
    • เจฟฟรีย์ ฮินตัน
    • โนม ชาเซียร์
    • ยานน์ เลอคุน
    • อันเดรจ คาร์ปาธี
  7. In Multi-Query Attention, what remains separate for each attention head?
    • The shared key projection
    • The shared value projection
    • The query projection
    • The token sequence itself
  8. How does Grouped-Query Attention differ from standard MQA?
    • It shares query projections but gives every head separate keys and values
    • It removes attention and replaces it with a recurrent layer
    • It groups output vocabulary tokens instead of attention heads
    • It shares keys and values within several groups of query heads rather than across all heads at once