แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบความสนใจแฝงแบบหลายหัว
สำรวจแคชแฝงที่ใช้ร่วมกันของ MLA การสร้างใหม่ระดับต่ำ การดูดซับการฉายภาพ เส้นทางการเข้ารหัสตำแหน่ง และการประหยัดหน่วยความจำการอนุมาน
คำถาม 1 ของ 8
ปัญหาหลักที่ Multi-Head Latent Attention ได้รับการออกแบบมาเพื่อลดคืออะไร?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ปัญหาหลักที่ Multi-Head Latent Attention ได้รับการออกแบบมาเพื่อลดคืออะไร?
- ต้นทุนหน่วยความจำของแคชคีย์-ค่าระหว่างการอนุมาน
- การฝึกอบรมการขาดแคลนข้อมูล
- จำนวนพารามิเตอร์รุ่น
- ขนาดคำศัพท์ Tokenizer
- MLA ย่อขนาดแคช KV อย่างไร
- มันจะลบโทเค็นเก่าออกจากแคช
- โดยจะจัดเก็บเวกเตอร์แฝงระดับต่ำขนาดเล็กแทนคีย์และค่าต่อหัวแบบเต็ม
- มันใช้น้ำหนัก 1 บิตสำหรับทุกสิ่ง
- มันข้ามความสนใจไปที่โทเค็นบางตัวโดยสิ้นเชิง
- รุ่นใดที่เปิดตัวระบบ Multi-Head Latent Attention เป็นครั้งแรก
- GPT-2
- เบิร์ต
- DeepSeek-V2
- ลามา 1
- เหตุใด MLA จึงต้องมีเส้นทาง 'แยกส่วน' แยกต่างหากสำหรับการฝังตำแหน่งแบบหมุน
- เพราะตำแหน่งไม่เกี่ยวข้องกับความสนใจ
- เพราะ RoPE เพิ่มคำศัพท์เป็นสองเท่า
- เพราะมันเร่งความเร็วของเครื่องมือเพิ่มประสิทธิภาพ
- เพราะการหมุนไม่สามารถพับเข้าไปในการฉายขึ้นแบบดูดซับได้เหมือนกับคีย์ที่เหลือ
- DeepSeek-V2 รายงานการลดหน่วยความจำแคช KV ประมาณเท่าใดจาก MLA เทียบกับความสนใจแบบหลายหัวแบบมาตรฐาน
- มากกว่า 90%
- ประมาณ 5%
- 50% พอดี
- ไม่มีการลดลง เพิ่มความเร็วเท่านั้น
- ประโยชน์เชิงปฏิบัติอะไรบ้างที่ตามมาโดยตรงจากแคชต่อโทเค็นที่มีขนาดเล็กกว่าของ MLA
- ขจัดความจำเป็นในการใช้ GPU ใด ๆ
- ขนาดชุดการอนุมานที่ใหญ่ขึ้นและบริบทที่ยาวขึ้นบนฮาร์ดแวร์เดียวกัน
- การแปลอัตโนมัติในทุกภาษา
- การกำจัดการดำเนินการ softmax
- What is the purpose of absorbing MLA up-projection weights into other projections?
- Remove positional information from every token
- Increase the size of the cached latent
- Avoid materializing full per-head keys and values during inference
- Replace attention with a recurrent network
- What positional information does MLA handle on a separate decoupled key path?
- Class labels from the training data
- Image segmentation maps
- The output vocabulary probabilities
- Rotary position embeddings that cannot be absorbed like the other key projections