คู่มือ AI ภาษา
Mamba และช่องว่างของรัฐแบบเลือกสรร
Mamba เป็นโมเดลลำดับที่สร้างขึ้นบนโมเดลพื้นที่รัฐ (SSM) ที่ประมวลผลข้อความในเวลาเชิงเส้น ซึ่งเสนอทางเลือกที่รวดเร็วแทนความสนใจกำลังสองของ Transformer
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
เคล็ดลับสำคัญคือทำให้โมเดลเลือกตัดสินใจว่าจะจดจำและลืมอะไรโดยพิจารณาจากข้อมูลที่ป้อนเข้ามา
เจาะลึก
Mamba ซึ่งเปิดตัวโดย Albert Gu และ Tri Dao ในปลายปี 2023 สร้างขึ้นจากแบบจำลองพื้นที่รัฐที่มีโครงสร้าง SSM แบบคลาสสิกจะบีบอัดประวัติทั้งหมดของลำดับให้เป็นสถานะที่ซ่อนอยู่ในขนาดคงที่ และอัปเดตทีละขั้นตอน เช่นเดียวกับเครือข่ายที่เกิดซ้ำที่ซับซ้อน ความก้าวหน้าคือการเลือกสรร: Mamba ทำให้พารามิเตอร์ของ SSM (เท่าใดที่จะเก็บ และเท่าใดที่จะปล่อย) ขึ้นอยู่กับโทเค็นปัจจุบัน ดังนั้นแบบจำลองจึงสามารถมุ่งเน้นไปที่คำที่เกี่ยวข้องและละเว้นตัวเติม ซึ่งช่วยให้สถานะที่มีขนาดคงที่หนึ่งสถานะทำหน้าที่เหมือนกับหน่วยความจำที่รับรู้เนื้อหา เนื่องจากหลีกเลี่ยงการเปรียบเทียบทุกโทเค็นกับโทเค็นอื่นๆ Mamba จึงปรับขนาดเชิงเส้นตามความยาวของลำดับและคงความเร็วไว้อย่างรวดเร็วในอินพุตที่ยาวมาก เช่น จีโนม เสียง หรือข้อความที่มีความยาวตามหนังสือ
การใช้งานจริงในโลกแห่งความเป็นจริง
การสร้างแบบจำลองลำดับ DNA ที่ยาวมากโดยที่ Transformers ล้านโทเค็นมีราคาแพงเกินไป
ขับเคลื่อนผู้ช่วยด้านภาษาที่มีบริบทยาวซึ่งสรุปหนังสือทั้งเล่มโดยไม่มีการตัดทอน
การสร้างเสียงแบบเรียลไทม์และการสร้างแบบจำลองคำพูดที่ประมวลผลรูปคลื่นดิบอย่างมีประสิทธิภาพ
การใช้งานบนอุปกรณ์หรือ Edge ที่สถานะเกิดซ้ำในขนาดคงที่ขนาดเล็กช่วยประหยัดหน่วยความจำเมื่อเทียบกับแคชความสนใจที่เพิ่มขึ้น
อนาคตของ Mamba และช่องว่างของรัฐแบบคัดเลือก
Mamba และผู้สืบทอด Mamba-2 กำลังผลักดันไปสู่สถาปัตยกรรมไฮบริดที่แทรกชั้นความสนใจสองสามชั้นเข้ากับเลเยอร์ SSM จำนวนมาก เพื่อดึงจุดแข็งของทั้งสองชั้น คาดหวัง SSM ในตัวช่วยที่มีบริบทยาว รุ่นบนอุปกรณ์ที่มีหน่วยความจำจำกัด และโดเมนที่ไม่ใช่ข้อความ เช่น DNA และเสียง การวิจัยกำลังตรวจสอบว่า SSM บริสุทธิ์สามารถจับคู่ Transformers ในงานที่ต้องการการเรียกคืนที่แม่นยำได้หรือไม่ และไม่ว่าจะขยายขนาดโมเดลที่ใหญ่ที่สุดหรือไม่
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ความเร็วและขนาด. ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ
- เข้าถึงและเข้าถึง. ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ
ระวัง
- ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ
- ความละเอียดอ่อนของการแจ้งเตือนสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันในคำขอที่คล้ายกัน
- ข้อมูลข้อความที่ละเอียดอ่อนอาจถูกเปิดเผยหากการควบคุมการเข้าถึงอ่อนแอ
ขั้นตอนต่อไป
- กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว
- การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ
- รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง
- ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ทำแบบทดสอบเรื่อง Mamba และ Selective State Spaces
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
Mamba และ Selective State Spaces คืออะไร
Mamba เป็นโมเดลลำดับที่สร้างขึ้นบนโมเดลพื้นที่รัฐ (SSM) ที่ประมวลผลข้อความในเวลาเชิงเส้น ซึ่งเสนอทางเลือกที่รวดเร็วแทนความสนใจกำลังสองของ Transformer เคล็ดลับสำคัญคือทำให้โมเดลเลือกตัดสินใจว่าจะจดจำและลืมอะไรโดยพิจารณาจากข้อมูลที่ป้อนเข้ามา
อะไรคือข้อได้เปรียบทางการคำนวณหลักของ Mamba เหนือ Transformer มาตรฐาน?
Mamba หลีกเลี่ยงการเปรียบเทียบโทเค็นทุกคู่ ดังนั้นต้นทุนของมันจึงเพิ่มขึ้นเป็นเส้นตรงตามความยาวของลำดับ แทนที่จะเป็นแบบกำลังสองเหมือนกับความสนใจ
คำว่า 'เลือกสรร' หมายถึงอะไรใน Mamba?
หัวกะทิหมายถึงพารามิเตอร์เช่น B, C และเดลต้ากลายเป็นฟังก์ชันของอินพุตปัจจุบัน ทำให้มีหน่วยความจำที่รับรู้เนื้อหา
แบบจำลองพื้นที่รัฐแสดงถึงประวัติของลำดับอย่างไร
SSM เป็นโมเดลรูปแบบที่เกิดซ้ำซึ่งพับอดีตให้อยู่ในสถานะที่มีขนาดคงที่ คล้ายกับ RNN
เหตุใด Mamba จึงไม่สามารถใช้ทางลัดแบบหมุนเร็วแบบที่ SSM รุ่นก่อนๆ ใช้ได้
มุมมองแบบบิดต้องใช้พารามิเตอร์คงที่ (ไม่แปรผันตามเวลา) พารามิเตอร์ที่ขึ้นอยู่กับอินพุตจะพัง ดังนั้น Mamba จึงใช้การสแกนแบบขนานแทน
Mamba ใช้เทคนิคใดในการคงความเร็วแม้จะสูญเสียทางลัดในการบิดตัวไป?
Mamba ใช้การสแกนแบบเลือกรับรู้ฮาร์ดแวร์ซึ่งจะเก็บสถานะระดับกลางไว้ใน SRAM ที่รวดเร็วเพื่อกู้คืนปริมาณงาน
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้