Mamba และช่องว่างของรัฐแบบเลือกสรร
Mamba เป็นโมเดลลำดับที่สร้างขึ้นบนโมเดลพื้นที่รัฐ (SSM) ที่ประมวลผลข้อความในเวลาเชิงเส้น ซึ่งเสนอทางเลือกที่รวดเร็วแทนความสนใจกำลังสองของ Transformer
ภาพรวม
Its key trick is making the model selectively decide what to remember and forget based on the input itself.
เจาะลึก
Mamba ซึ่งเปิดตัวโดย Albert Gu และ Tri Dao ในปลายปี 2023 สร้างขึ้นจากแบบจำลองพื้นที่รัฐที่มีโครงสร้าง SSM แบบคลาสสิกจะบีบอัดประวัติทั้งหมดของลำดับให้เป็นสถานะที่ซ่อนอยู่ในขนาดคงที่ และอัปเดตทีละขั้นตอน เช่นเดียวกับเครือข่ายที่เกิดซ้ำที่ซับซ้อน ความก้าวหน้าคือการเลือกสรร: Mamba ทำให้พารามิเตอร์ของ SSM (เท่าใดที่จะเก็บ และเท่าใดที่จะปล่อย) ขึ้นอยู่กับโทเค็นปัจจุบัน ดังนั้นแบบจำลองจึงสามารถมุ่งเน้นไปที่คำที่เกี่ยวข้องและละเว้นตัวเติม ซึ่งช่วยให้สถานะที่มีขนาดคงที่หนึ่งสถานะทำหน้าที่เหมือนกับหน่วยความจำที่รับรู้เนื้อหา เนื่องจากหลีกเลี่ยงการเปรียบเทียบทุกโทเค็นกับโทเค็นอื่นๆ Mamba จึงปรับขนาดเชิงเส้นตามความยาวของลำดับและคงความเร็วไว้อย่างรวดเร็วในอินพุตที่ยาวมาก เช่น จีโนม เสียง หรือข้อความที่มีความยาวตามหนังสือ
ข้อมูลเชิงลึกทางเทคนิค
แบบจำลองพื้นที่รัฐแมปลำดับอินพุตกับเอาต์พุตผ่านระบบเชิงเส้นต่อเนื่องที่กำหนดโดยเมทริกซ์ A, B, C และเดลต้าขนาดขั้นตอน SSM ก่อนหน้านี้ยังคงรักษาสิ่งเหล่านี้ไว้ เพื่อให้สามารถดูการบิดอย่างรวดเร็ว Mamba สร้างฟังก์ชัน B, C และเดลต้าของอินพุต ซึ่งทำลายทางลัดแบบ Convolution ดังนั้นจึงใช้การสแกนแบบขนานที่รับรู้ฮาร์ดแวร์แทนซึ่งเก็บไว้ใน GPU SRAM ที่รวดเร็วเพื่อกู้คืนความเร็วในขณะที่ได้รับหน่วยความจำที่ขึ้นอยู่กับอินพุต
ผลกระทบเชิงกลยุทธ์
ความเร็วและขนาด
ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ
เข้าถึงและเข้าถึง
ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร
การตัดสินใจที่ชัดเจนยิ่งขึ้น
ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ
อนาคตของ Mamba และช่องว่างของรัฐแบบคัดเลือก
Mamba และผู้สืบทอด Mamba-2 กำลังผลักดันไปสู่สถาปัตยกรรมไฮบริดที่แทรกชั้นความสนใจสองสามชั้นเข้ากับเลเยอร์ SSM จำนวนมาก เพื่อดึงจุดแข็งของทั้งสองชั้น คาดหวัง SSM ในตัวช่วยที่มีบริบทยาว รุ่นบนอุปกรณ์ที่มีหน่วยความจำจำกัด และโดเมนที่ไม่ใช่ข้อความ เช่น DNA และเสียง การวิจัยกำลังตรวจสอบว่า SSM บริสุทธิ์สามารถจับคู่ Transformers ในงานที่ต้องการการเรียกคืนที่แม่นยำได้หรือไม่ และไม่ว่าจะขยายขนาดโมเดลที่ใหญ่ที่สุดหรือไม่
การใช้งานจริงในโลกแห่งความเป็นจริง
การสร้างแบบจำลองลำดับ DNA ที่ยาวมากโดยที่ Transformers ล้านโทเค็นมีราคาแพงเกินไป
ขับเคลื่อนผู้ช่วยด้านภาษาที่มีบริบทยาวซึ่งสรุปหนังสือทั้งเล่มโดยไม่มีการตัดทอน
การสร้างเสียงแบบเรียลไทม์และการสร้างแบบจำลองคำพูดที่ประมวลผลรูปคลื่นดิบอย่างมีประสิทธิภาพ
การใช้งานบนอุปกรณ์หรือ Edge ที่สถานะเกิดซ้ำในขนาดคงที่ขนาดเล็กช่วยประหยัดหน่วยความจำเมื่อเทียบกับแคชความสนใจที่เพิ่มขึ้น
ความเสี่ยงและรั้ว
ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ
ความละเอียดอ่อนของการแจ้งเตือนสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันในคำขอที่คล้ายกัน
ข้อมูลข้อความที่ละเอียดอ่อนอาจถูกเปิดเผยหากการควบคุมการเข้าถึงอ่อนแอ
แผนงานการดำเนินงาน
กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว
การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ
รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง
ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mamba and Selective State Spaces quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
แบบจำลองอวกาศของรัฐและ Mamba
คำถามที่พบบ่อย
What is Mamba and Selective State Spaces?
Mamba เป็นโมเดลลำดับที่สร้างขึ้นบนโมเดลพื้นที่รัฐ (SSM) ที่ประมวลผลข้อความในเวลาเชิงเส้น ซึ่งเสนอทางเลือกที่รวดเร็วแทนความสนใจกำลังสองของ Transformer เคล็ดลับสำคัญคือทำให้โมเดลเลือกตัดสินใจว่าจะจดจำและลืมอะไรโดยพิจารณาจากข้อมูลที่ป้อนเข้ามา
อะไรคือข้อได้เปรียบทางการคำนวณหลักของ Mamba เหนือ Transformer มาตรฐาน?
Mamba หลีกเลี่ยงการเปรียบเทียบโทเค็นทุกคู่ ดังนั้นต้นทุนของมันจึงเพิ่มขึ้นเป็นเส้นตรงตามความยาวของลำดับ แทนที่จะเป็นแบบกำลังสองเหมือนกับความสนใจ
คำว่า 'เลือกสรร' หมายถึงอะไรใน Mamba?
หัวกะทิหมายถึงพารามิเตอร์เช่น B, C และเดลต้ากลายเป็นฟังก์ชันของอินพุตปัจจุบัน ทำให้มีหน่วยความจำที่รับรู้เนื้อหา
แบบจำลองพื้นที่รัฐแสดงถึงประวัติของลำดับอย่างไร
SSM เป็นโมเดลรูปแบบที่เกิดซ้ำซึ่งพับอดีตให้อยู่ในสถานะที่มีขนาดคงที่ คล้ายกับ RNN
เหตุใด Mamba จึงไม่สามารถใช้ทางลัดแบบหมุนเร็วแบบที่ SSM รุ่นก่อนๆ ใช้ได้
มุมมองแบบบิดต้องใช้พารามิเตอร์คงที่ (ไม่แปรผันตามเวลา) พารามิเตอร์ที่ขึ้นอยู่กับอินพุตจะพัง ดังนั้น Mamba จึงใช้การสแกนแบบขนานแทน
Mamba ใช้เทคนิคใดในการคงความเร็วแม้จะสูญเสียทางลัดในการบิดตัวไป?
Mamba ใช้การสแกนแบบเลือกรับรู้ฮาร์ดแวร์ซึ่งจะเก็บสถานะระดับกลางไว้ใน SRAM ที่รวดเร็วเพื่อกู้คืนปริมาณงาน