แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบความสนใจแฝงแบบหลายหัว

สำรวจแคชแฝงที่ใช้ร่วมกันของ MLA การสร้างใหม่ระดับต่ำ การดูดซับการฉายภาพ เส้นทางการเข้ารหัสตำแหน่ง และการประหยัดหน่วยความจำการอนุมาน

เส้นทางแนะนำที่เกี่ยวข้องความสนใจแฝงหลายหัว
คำถาม 1 ของ 8

ปัญหาหลักที่ Multi-Head Latent Attention ได้รับการออกแบบมาเพื่อลดคืออะไร?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ปัญหาหลักที่ Multi-Head Latent Attention ได้รับการออกแบบมาเพื่อลดคืออะไร?
    • ต้นทุนหน่วยความจำของแคชคีย์-ค่าระหว่างการอนุมาน
    • การฝึกอบรมการขาดแคลนข้อมูล
    • จำนวนพารามิเตอร์รุ่น
    • ขนาดคำศัพท์ Tokenizer
  2. MLA ย่อขนาดแคช KV อย่างไร
    • มันจะลบโทเค็นเก่าออกจากแคช
    • โดยจะจัดเก็บเวกเตอร์แฝงระดับต่ำขนาดเล็กแทนคีย์และค่าต่อหัวแบบเต็ม
    • มันใช้น้ำหนัก 1 บิตสำหรับทุกสิ่ง
    • มันข้ามความสนใจไปที่โทเค็นบางตัวโดยสิ้นเชิง
  3. รุ่นใดที่เปิดตัวระบบ Multi-Head Latent Attention เป็นครั้งแรก
    • GPT-2
    • เบิร์ต
    • DeepSeek-V2
    • ลามา 1
  4. เหตุใด MLA จึงต้องมีเส้นทาง 'แยกส่วน' แยกต่างหากสำหรับการฝังตำแหน่งแบบหมุน
    • เพราะตำแหน่งไม่เกี่ยวข้องกับความสนใจ
    • เพราะ RoPE เพิ่มคำศัพท์เป็นสองเท่า
    • เพราะมันเร่งความเร็วของเครื่องมือเพิ่มประสิทธิภาพ
    • เพราะการหมุนไม่สามารถพับเข้าไปในการฉายขึ้นแบบดูดซับได้เหมือนกับคีย์ที่เหลือ
  5. DeepSeek-V2 รายงานการลดหน่วยความจำแคช KV ประมาณเท่าใดจาก MLA เทียบกับความสนใจแบบหลายหัวแบบมาตรฐาน
    • มากกว่า 90%
    • ประมาณ 5%
    • 50% พอดี
    • ไม่มีการลดลง เพิ่มความเร็วเท่านั้น
  6. ประโยชน์เชิงปฏิบัติอะไรบ้างที่ตามมาโดยตรงจากแคชต่อโทเค็นที่มีขนาดเล็กกว่าของ MLA
    • ขจัดความจำเป็นในการใช้ GPU ใด ๆ
    • ขนาดชุดการอนุมานที่ใหญ่ขึ้นและบริบทที่ยาวขึ้นบนฮาร์ดแวร์เดียวกัน
    • การแปลอัตโนมัติในทุกภาษา
    • การกำจัดการดำเนินการ softmax
  7. What is the purpose of absorbing MLA up-projection weights into other projections?
    • Remove positional information from every token
    • Increase the size of the cached latent
    • Avoid materializing full per-head keys and values during inference
    • Replace attention with a recurrent network
  8. What positional information does MLA handle on a separate decoupled key path?
    • Class labels from the training data
    • Image segmentation maps
    • The output vocabulary probabilities
    • Rotary position embeddings that cannot be absorbed like the other key projections