คู่มือ AI ภาษา
ความสนใจแฝงแบบหลายหัว
Multi-Head Latent Attention (MLA) เป็นกลไกความสนใจที่นำมาใช้ใน DeepSeek-V2 ซึ่งบีบอัดแคชคีย์-ค่าที่ต้องใช้หน่วยความจำมากให้เป็นเวกเตอร์แฝงขนาดเล็กที่ใช้ร่วมกัน
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
It lets large language models run with far less GPU memory while keeping quality close to standard attention.
เจาะลึก
เมื่อหม้อแปลงสร้างข้อความ มันจะจัดเก็บคีย์และเวกเตอร์ค่าสำหรับโทเค็นที่ผ่านมาทุกรายการใน 'แคช KV' แคชนั้นขยายตามความยาวของบริบทและครอบงำการใช้หน่วยความจำในระหว่างการอนุมาน MLA แทนที่เวกเตอร์คีย์/ค่าขนาดเต็มจำนวนมากด้วยเวกเตอร์แฝงอันดับต่ำต่อโทเค็น จากนั้นโปรเจ็กต์ที่แฝงสำรองลงในคีย์และค่าต่อหัวได้ทันที เนื่องจากมีการแคชเฉพาะค่าแฝงขนาดกะทัดรัด DeepSeek-V2 จึงรายงานว่าลดหน่วยความจำแคช KV ได้มากกว่า 90% เมื่อเทียบกับความสนใจแบบหลายหัวแบบมาตรฐาน ช่วยให้บริบทยาวขึ้นและขนาดแบทช์ใหญ่ขึ้น สิ่งสำคัญที่สุดคือ เมทริกซ์การฉายภาพด้านบนสามารถพับเป็นน้ำหนักอื่นๆ ได้ ดังนั้น MLA จึงบรรลุการบีบอัดนี้โดยสูญเสียคุณภาพการสร้างแบบจำลองเพียงเล็กน้อยหรือไม่สามารถวัดได้เลย
การใช้งานจริงในโลกแห่งความเป็นจริง
ให้บริการโมเดลแชท DeepSeek-V2/V3 ด้วยพื้นที่หน่วยความจำ GPU ที่เล็กลงอย่างมากต่อคำขอ
การรันคำถามเกี่ยวกับเอกสารขนาดยาวเพื่อตอบคำถามว่าแคช KV ขนาดใหญ่อาจทำให้ VRAM หมดไปได้อย่างไร
การเพิ่มขนาดแบตช์การอนุมานบน GPU คงที่ เนื่องจากแต่ละลำดับจะเก็บเฉพาะเวกเตอร์แฝงเล็กๆ เท่านั้น
เปิดใช้งานหน้าต่างบริบทที่ยาวขึ้นบนฮาร์ดแวร์สินค้าโภคภัณฑ์สำหรับผู้ช่วยที่ดึงข้อมูลเสริม
อนาคตของความสนใจแฝงแบบหลายหัว
MLA ช่วยทำให้ DeepSeek-V2 และ V3 ประหยัดในการให้บริการในวงกว้าง และเทคนิคดังกล่าวก็แพร่กระจายไปในขณะที่ทีมต่างๆ ไล่ตามการอนุมานบริบทยาวที่ถูกกว่า คาดว่าการบีบอัดแฝงแบบ MLA จะรวมกับเลเยอร์ Mixture-of-Experts แบบกระจัดกระจาย แคชเชิงปริมาณ และการถอดรหัสเชิงคาดเดาในโมเดลเปิดในอนาคต นักวิจัยยังกำลังสำรวจว่ามิติที่ซ่อนเร้นสามารถหดตัวลงได้มากเพียงใดก่อนที่คุณภาพจะลดลง และแนวคิดระดับต่ำแบบเดียวกันนี้สามารถดึงความสนใจระหว่างการฝึกอบรมได้หรือไม่ ไม่ใช่แค่การอนุมานเท่านั้น
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ความเร็วและขนาด. ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ
- เข้าถึงและเข้าถึง. ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ
ระวัง
- ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ
- ความละเอียดอ่อนของการแจ้งเตือนสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันในคำขอที่คล้ายกัน
- ข้อมูลข้อความที่ละเอียดอ่อนอาจถูกเปิดเผยหากการควบคุมการเข้าถึงอ่อนแอ
ขั้นตอนต่อไป
- กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว
- การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ
- รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง
- ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the Multi-Head Latent Attention quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
What is Multi-Head Latent Attention?
Multi-Head Latent Attention (MLA) เป็นกลไกความสนใจที่นำมาใช้ใน DeepSeek-V2 ซึ่งบีบอัดแคชคีย์-ค่าที่ต้องใช้หน่วยความจำมากให้เป็นเวกเตอร์แฝงขนาดเล็กที่ใช้ร่วมกัน ช่วยให้โมเดลภาษาขนาดใหญ่ทำงานได้โดยใช้หน่วยความจำ GPU น้อยกว่ามาก ในขณะที่ยังคงรักษาคุณภาพให้ใกล้เคียงกับความสนใจมาตรฐาน
ปัญหาหลักที่ Multi-Head Latent Attention ได้รับการออกแบบมาเพื่อลดคืออะไร?
MLA กำหนดเป้าหมายไปที่แคช KV ซึ่งจะขยายตามความยาวของบริบทและครอบงำหน่วยความจำระหว่างการสร้างข้อความ
MLA ย่อขนาดแคช KV อย่างไร
MLA แคชเวกเตอร์แฝงขนาดกะทัดรัดหนึ่งตัวต่อโทเค็น และสร้างคีย์และค่าใหม่จากเวกเตอร์นั้นผ่านการฉายภาพขึ้น
รุ่นใดที่เปิดตัวระบบ Multi-Head Latent Attention เป็นครั้งแรก
MLA เปิดตัวโดย DeepSeek ในรุ่น DeepSeek-V2 และส่งต่อไปยัง DeepSeek-V3
เหตุใด MLA จึงต้องมีเส้นทาง 'แยกส่วน' แยกต่างหากสำหรับการฝังตำแหน่งแบบหมุน
การแปลงแบบหมุนไม่สามารถดูดซับลงในเมทริกซ์น้ำหนักอื่นๆ ได้ ดังนั้น MLA จึงเก็บส่วนประกอบหลักที่แยกส่วนขนาดเล็กไว้เพื่อส่งข้อมูลตำแหน่ง
DeepSeek-V2 รายงานการลดหน่วยความจำแคช KV ประมาณเท่าใดจาก MLA เทียบกับความสนใจแบบหลายหัวแบบมาตรฐาน
DeepSeek-V2 รายงานว่าสามารถตัดหน่วยความจำแคช KV ได้มากกว่า 90% ทำให้สามารถใช้งานบริบทที่ยาวขึ้นและแบทช์ที่ใหญ่ขึ้น
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้