คู่มือ AI ภาษา

ความสนใจแฝงแบบหลายหัว

Multi-Head Latent Attention (MLA) เป็นกลไกความสนใจที่นำมาใช้ใน DeepSeek-V2 ซึ่งบีบอัดแคชคีย์-ค่าที่ต้องใช้หน่วยความจำมากให้เป็นเวกเตอร์แฝงขนาดเล็กที่ใช้ร่วมกัน

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของความสนใจแฝงแบบหลายหัว
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

It lets large language models run with far less GPU memory while keeping quality close to standard attention.

เจาะลึก

เมื่อหม้อแปลงสร้างข้อความ มันจะจัดเก็บคีย์และเวกเตอร์ค่าสำหรับโทเค็นที่ผ่านมาทุกรายการใน 'แคช KV' แคชนั้นขยายตามความยาวของบริบทและครอบงำการใช้หน่วยความจำในระหว่างการอนุมาน MLA แทนที่เวกเตอร์คีย์/ค่าขนาดเต็มจำนวนมากด้วยเวกเตอร์แฝงอันดับต่ำต่อโทเค็น จากนั้นโปรเจ็กต์ที่แฝงสำรองลงในคีย์และค่าต่อหัวได้ทันที เนื่องจากมีการแคชเฉพาะค่าแฝงขนาดกะทัดรัด DeepSeek-V2 จึงรายงานว่าลดหน่วยความจำแคช KV ได้มากกว่า 90% เมื่อเทียบกับความสนใจแบบหลายหัวแบบมาตรฐาน ช่วยให้บริบทยาวขึ้นและขนาดแบทช์ใหญ่ขึ้น สิ่งสำคัญที่สุดคือ เมทริกซ์การฉายภาพด้านบนสามารถพับเป็นน้ำหนักอื่นๆ ได้ ดังนั้น MLA จึงบรรลุการบีบอัดนี้โดยสูญเสียคุณภาพการสร้างแบบจำลองเพียงเล็กน้อยหรือไม่สามารถวัดได้เลย

การใช้งานจริงในโลกแห่งความเป็นจริง

ให้บริการโมเดลแชท DeepSeek-V2/V3 ด้วยพื้นที่หน่วยความจำ GPU ที่เล็กลงอย่างมากต่อคำขอ

การรันคำถามเกี่ยวกับเอกสารขนาดยาวเพื่อตอบคำถามว่าแคช KV ขนาดใหญ่อาจทำให้ VRAM หมดไปได้อย่างไร

การเพิ่มขนาดแบตช์การอนุมานบน GPU คงที่ เนื่องจากแต่ละลำดับจะเก็บเฉพาะเวกเตอร์แฝงเล็กๆ เท่านั้น

เปิดใช้งานหน้าต่างบริบทที่ยาวขึ้นบนฮาร์ดแวร์สินค้าโภคภัณฑ์สำหรับผู้ช่วยที่ดึงข้อมูลเสริม

อนาคตของความสนใจแฝงแบบหลายหัว

MLA ช่วยทำให้ DeepSeek-V2 และ V3 ประหยัดในการให้บริการในวงกว้าง และเทคนิคดังกล่าวก็แพร่กระจายไปในขณะที่ทีมต่างๆ ไล่ตามการอนุมานบริบทยาวที่ถูกกว่า คาดว่าการบีบอัดแฝงแบบ MLA จะรวมกับเลเยอร์ Mixture-of-Experts แบบกระจัดกระจาย แคชเชิงปริมาณ และการถอดรหัสเชิงคาดเดาในโมเดลเปิดในอนาคต นักวิจัยยังกำลังสำรวจว่ามิติที่ซ่อนเร้นสามารถหดตัวลงได้มากเพียงใดก่อนที่คุณภาพจะลดลง และแนวคิดระดับต่ำแบบเดียวกันนี้สามารถดึงความสนใจระหว่างการฝึกอบรมได้หรือไม่ ไม่ใช่แค่การอนุมานเท่านั้น

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ความเร็วและขนาด. ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ
  • เข้าถึงและเข้าถึง. ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ

ระวัง

  • ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ
  • ความละเอียดอ่อนของการแจ้งเตือนสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันในคำขอที่คล้ายกัน
  • ข้อมูลข้อความที่ละเอียดอ่อนอาจถูกเปิดเผยหากการควบคุมการเข้าถึงอ่อนแอ

ขั้นตอนต่อไป

  1. กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว
  2. การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ
  3. รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง
  4. ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Multi-Head Latent Attention quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is Multi-Head Latent Attention?

Multi-Head Latent Attention (MLA) เป็นกลไกความสนใจที่นำมาใช้ใน DeepSeek-V2 ซึ่งบีบอัดแคชคีย์-ค่าที่ต้องใช้หน่วยความจำมากให้เป็นเวกเตอร์แฝงขนาดเล็กที่ใช้ร่วมกัน ช่วยให้โมเดลภาษาขนาดใหญ่ทำงานได้โดยใช้หน่วยความจำ GPU น้อยกว่ามาก ในขณะที่ยังคงรักษาคุณภาพให้ใกล้เคียงกับความสนใจมาตรฐาน

ปัญหาหลักที่ Multi-Head Latent Attention ได้รับการออกแบบมาเพื่อลดคืออะไร?

MLA กำหนดเป้าหมายไปที่แคช KV ซึ่งจะขยายตามความยาวของบริบทและครอบงำหน่วยความจำระหว่างการสร้างข้อความ

MLA ย่อขนาดแคช KV อย่างไร

MLA แคชเวกเตอร์แฝงขนาดกะทัดรัดหนึ่งตัวต่อโทเค็น และสร้างคีย์และค่าใหม่จากเวกเตอร์นั้นผ่านการฉายภาพขึ้น

รุ่นใดที่เปิดตัวระบบ Multi-Head Latent Attention เป็นครั้งแรก

MLA เปิดตัวโดย DeepSeek ในรุ่น DeepSeek-V2 และส่งต่อไปยัง DeepSeek-V3

เหตุใด MLA จึงต้องมีเส้นทาง 'แยกส่วน' แยกต่างหากสำหรับการฝังตำแหน่งแบบหมุน

การแปลงแบบหมุนไม่สามารถดูดซับลงในเมทริกซ์น้ำหนักอื่นๆ ได้ ดังนั้น MLA จึงเก็บส่วนประกอบหลักที่แยกส่วนขนาดเล็กไว้เพื่อส่งข้อมูลตำแหน่ง

DeepSeek-V2 รายงานการลดหน่วยความจำแคช KV ประมาณเท่าใดจาก MLA เทียบกับความสนใจแบบหลายหัวแบบมาตรฐาน

DeepSeek-V2 รายงานว่าสามารถตัดหน่วยความจำแคช KV ได้มากกว่า 90% ทำให้สามารถใช้งานบริบทที่ยาวขึ้นและแบทช์ที่ใหญ่ขึ้น

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →