คู่มือ AI ภาษา
ความสนใจแบบหลายแบบสอบถาม
Multi-Query Attention (MQA) เป็นการประหยัดหน่วยความจำในความสนใจของหม้อแปลงที่ใช้ชุดคีย์และค่าร่วมกันในส่วนหัวของความสนใจทั้งหมด
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
มันเพิ่มความเร็วในการสร้างข้อความได้อย่างมากด้วยการลดขนาดหน่วยความจำที่โมเดลต้องสับเปลี่ยน
เจาะลึก
ความสนใจแบบหลายหัวแบบมาตรฐานจะทำให้ทุกหัวมีการสืบค้น คีย์ และมูลค่าของตัวเอง ในระหว่างการสร้าง คีย์และค่าสำหรับโทเค็นที่ผ่านมาทั้งหมดจะต้องแคชและโหลดซ้ำในแต่ละขั้นตอน - แคช KV นี้กลายเป็นคอขวดหลัก เนื่องจากการอ่านจากหน่วยความจำจะช้ากว่าคณิตศาสตร์เอง Multi-Query Attention เสนอโดย Noam Shazeer ในปี 2019 เก็บการคาดการณ์คิวรีแยกกันต่อหัว แต่จะยุบคีย์และค่าลงในหัวที่ใช้ร่วมกันเพียงหัวเดียว วิธีนี้จะย่อแคช KV ลงตามปัจจัยที่เท่ากับจำนวนหัว ซึ่งบางครั้งอาจเล็กกว่า 8x ถึง 64x ผลลัพธ์ที่ได้คือการถอดรหัสแบบ autoregressive ที่เร็วขึ้นมาก และใช้พื้นที่หน่วยความจำน้อยลง โดยมีคุณภาพลดลงเพียงเล็กน้อยเท่านั้น ประเด็นตรงกลางคือ Grouped-Query Attention จะช่วยรักษาสมดุลระหว่างการแลกเปลี่ยน
การใช้งานจริงในโลกแห่งความเป็นจริง
เร่งความเร็วในการสร้างโทเค็นต่อโทเค็นในตัวช่วยแชท โดยที่แคช KV ไม่ใช่การประมวลผลดิบ จะจำกัดปริมาณงาน
PaLM ของ Google ซึ่งใช้ Multi-Query Attention เพื่อเปิดใช้งานการอนุมานขนาดใหญ่อย่างมีประสิทธิภาพ
ให้บริการผู้ใช้พร้อมกันจำนวนมากบน GPU ตัวเดียวโดยการลดขนาดหน่วยความจำแคช KV ตามคำขอ
ความสนใจในการสืบค้นแบบกลุ่มใน Llama 2 70B และ Llama 3 ซึ่งเป็นผู้สืบทอดโดยตรงที่สร้างสมดุลระหว่างความเร็วของ MQA กับคุณภาพการเอาใจใส่เต็มรูปแบบ
อนาคตของความสนใจแบบหลายแบบสอบถาม
MQA กำหนดไว้ว่าคุณสามารถตัดส่วนหัวของคีย์/ค่าที่ซ้ำซ้อนได้โดยไม่เกิดอันตรายใดๆ เลย และขณะนี้ข้อมูลเชิงลึกดังกล่าวได้กำหนดรูปแบบ LLM การอนุมานอย่างรวดเร็วเกือบทุกตัว ฟิลด์นี้ส่วนใหญ่มาบรรจบกันที่ Grouped-Query Attention (GQA) ซึ่งใช้ใน Llama 2/3 และอื่นๆ อีกมากมาย ซึ่งใช้กลุ่ม KV สองสามกลุ่มแทนที่จะเป็นกลุ่มเดียวในการกู้คืนคุณภาพในขณะที่ยังคงรักษาการเร่งความเร็วส่วนใหญ่เอาไว้ งานในอนาคตผสมผสานแนวคิดเหล่านี้เข้ากับการบีบอัดแคช KV การหาปริมาณ และความสนใจแบบแฝงหลายตัวเพื่อผลักดันบริบทที่ยาวขึ้นและการให้บริการที่ถูกกว่า
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ความเร็วและขนาด. ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ
- เข้าถึงและเข้าถึง. ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ
ระวัง
- ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ
- ความละเอียดอ่อนของการแจ้งเตือนสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันในคำขอที่คล้ายกัน
- ข้อมูลข้อความที่ละเอียดอ่อนอาจถูกเปิดเผยหากการควบคุมการเข้าถึงอ่อนแอ
ขั้นตอนต่อไป
- กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว
- การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ
- รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง
- ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ทำแบบทดสอบความสนใจแบบหลายแบบสอบถาม
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
Multi-Query Attention คืออะไร?
Multi-Query Attention (MQA) เป็นการประหยัดหน่วยความจำในความสนใจของหม้อแปลงที่ใช้ชุดคีย์และค่าร่วมกันในส่วนหัวของความสนใจทั้งหมด มันเพิ่มความเร็วในการสร้างข้อความได้อย่างมากด้วยการลดขนาดหน่วยความจำที่โมเดลต้องสับเปลี่ยน
Multi-Query Attention แบ่งส่วนความสนใจทั้งหมดอย่างไร
MQA แยกคำค้นหาต่อหัว แต่ใช้การฉายภาพหลัก 1 รายการและการฉายภาพค่า 1 รายการในทุกหัว
คอขวดหลักที่ MQA ระบุระหว่างการสร้างการถดถอยอัตโนมัติคืออะไร
การรีโหลดแคช KV ขนาดใหญ่แต่ละขั้นตอนจะถูกจำกัดด้วยแบนด์วิดท์ MQA ย่อขนาดแคชนั้นเพื่อเร่งการถอดรหัส
MQA ลดขนาดแคช KV ประมาณกี่ปัจจัย
เนื่องจากคีย์และค่ายุบจากส่วนหัว H ไปเป็นหนึ่ง แคชจึงย่อขนาดลงตามจำนวนส่วนหัวโดยประมาณ
ข้อเสียหลักๆ ของการใช้ MQA คืออะไร
การแชร์คีย์และค่าจะลดความสามารถในการแสดงข้อมูลลงเล็กน้อย ส่งผลให้คุณภาพลดลงเล็กน้อยเพื่อแลกกับความเร็วที่เพิ่มขึ้นอย่างมาก
ตัวแปรใดอยู่ระหว่างความสนใจแบบหลายหัวแบบมาตรฐานกับ MQA
Grouped-Query Attention (GQA) ใช้กลุ่ม KV หลายกลุ่มแทนที่จะเป็นกลุ่มเดียว เพื่อรักษาสมดุลระหว่างคุณภาพและความเร็ว
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้