แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบความสนใจแบบหลายแบบสอบถาม
ทดสอบว่า Multi-Query Attention แชร์ส่วนหัวของคีย์-ค่า ลดการรับส่งข้อมูลแคช และเกี่ยวข้องกับความสนใจของแบบสอบถามที่จัดกลุ่มในโมเดลตัวถอดรหัสอย่างไร
คำถาม 1 ของ 8
Multi-Query Attention แบ่งส่วนความสนใจทั้งหมดอย่างไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- Multi-Query Attention แบ่งส่วนความสนใจทั้งหมดอย่างไร
- ชุดคีย์และค่าชุดเดียว
- การคาดคะเนแบบสอบถาม
- อุณหภูมิซอฟต์แม็กซ์
- น้ำหนักเลเยอร์เอาต์พุต
- คอขวดหลักที่ MQA ระบุระหว่างการสร้างการถดถอยอัตโนมัติคืออะไร
- ปริมาณการประมวลผลแบบทศนิยม
- แบนด์วิธหน่วยความจำจากการโหลดแคช KV
- จำนวนยุคการฝึกอบรม
- ขนาดคำศัพท์ Tokenizer
- MQA ลดขนาดแคช KV ประมาณกี่ปัจจัย
- ตามความยาวของลำดับ
- ตามขนาดแบทช์
- ตามจำนวนหัวความสนใจ
- มันไม่เปลี่ยนขนาดแคช KV
- ข้อเสียหลักๆ ของการใช้ MQA คืออะไร
- การอนุมานช้ากว่ามาก
- ไม่สามารถใช้หลายหัวได้เลยอีกต่อไป
- ต้องใช้ข้อมูลการฝึกอบรมที่มากกว่านี้มาก
- คุณภาพของโมเดลลดลงเล็กน้อย
- ตัวแปรใดอยู่ระหว่างความสนใจแบบหลายหัวแบบมาตรฐานกับ MQA
- ความสนใจแบบสอบถามแบบกลุ่ม
- หน้าต่างบานเลื่อนให้ความสนใจ
- ความสนใจแบบแฟลช
- ความสนใจเบาบาง
- ใครเป็นผู้เสนอความสนใจแบบ Multi-Query?
- เจฟฟรีย์ ฮินตัน
- โนม ชาเซียร์
- ยานน์ เลอคุน
- อันเดรจ คาร์ปาธี
- In Multi-Query Attention, what remains separate for each attention head?
- The shared key projection
- The shared value projection
- The query projection
- The token sequence itself
- How does Grouped-Query Attention differ from standard MQA?
- It shares query projections but gives every head separate keys and values
- It removes attention and replaces it with a recurrent layer
- It groups output vocabulary tokens instead of attention heads
- It shares keys and values within several groups of query heads rather than across all heads at once