คู่มือ AI ภาษา

Mamba และช่องว่างของรัฐแบบเลือกสรร

Mamba เป็นโมเดลลำดับที่สร้างขึ้นบนโมเดลพื้นที่รัฐ (SSM) ที่ประมวลผลข้อความในเวลาเชิงเส้น ซึ่งเสนอทางเลือกที่รวดเร็วแทนความสนใจกำลังสองของ Transformer

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของ Mamba และช่องว่างของรัฐแบบคัดเลือก
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

เคล็ดลับสำคัญคือทำให้โมเดลเลือกตัดสินใจว่าจะจดจำและลืมอะไรโดยพิจารณาจากข้อมูลที่ป้อนเข้ามา

เจาะลึก

Mamba ซึ่งเปิดตัวโดย Albert Gu และ Tri Dao ในปลายปี 2023 สร้างขึ้นจากแบบจำลองพื้นที่รัฐที่มีโครงสร้าง SSM แบบคลาสสิกจะบีบอัดประวัติทั้งหมดของลำดับให้เป็นสถานะที่ซ่อนอยู่ในขนาดคงที่ และอัปเดตทีละขั้นตอน เช่นเดียวกับเครือข่ายที่เกิดซ้ำที่ซับซ้อน ความก้าวหน้าคือการเลือกสรร: Mamba ทำให้พารามิเตอร์ของ SSM (เท่าใดที่จะเก็บ และเท่าใดที่จะปล่อย) ขึ้นอยู่กับโทเค็นปัจจุบัน ดังนั้นแบบจำลองจึงสามารถมุ่งเน้นไปที่คำที่เกี่ยวข้องและละเว้นตัวเติม ซึ่งช่วยให้สถานะที่มีขนาดคงที่หนึ่งสถานะทำหน้าที่เหมือนกับหน่วยความจำที่รับรู้เนื้อหา เนื่องจากหลีกเลี่ยงการเปรียบเทียบทุกโทเค็นกับโทเค็นอื่นๆ Mamba จึงปรับขนาดเชิงเส้นตามความยาวของลำดับและคงความเร็วไว้อย่างรวดเร็วในอินพุตที่ยาวมาก เช่น จีโนม เสียง หรือข้อความที่มีความยาวตามหนังสือ

การใช้งานจริงในโลกแห่งความเป็นจริง

การสร้างแบบจำลองลำดับ DNA ที่ยาวมากโดยที่ Transformers ล้านโทเค็นมีราคาแพงเกินไป

ขับเคลื่อนผู้ช่วยด้านภาษาที่มีบริบทยาวซึ่งสรุปหนังสือทั้งเล่มโดยไม่มีการตัดทอน

การสร้างเสียงแบบเรียลไทม์และการสร้างแบบจำลองคำพูดที่ประมวลผลรูปคลื่นดิบอย่างมีประสิทธิภาพ

การใช้งานบนอุปกรณ์หรือ Edge ที่สถานะเกิดซ้ำในขนาดคงที่ขนาดเล็กช่วยประหยัดหน่วยความจำเมื่อเทียบกับแคชความสนใจที่เพิ่มขึ้น

อนาคตของ Mamba และช่องว่างของรัฐแบบคัดเลือก

Mamba และผู้สืบทอด Mamba-2 กำลังผลักดันไปสู่สถาปัตยกรรมไฮบริดที่แทรกชั้นความสนใจสองสามชั้นเข้ากับเลเยอร์ SSM จำนวนมาก เพื่อดึงจุดแข็งของทั้งสองชั้น คาดหวัง SSM ในตัวช่วยที่มีบริบทยาว รุ่นบนอุปกรณ์ที่มีหน่วยความจำจำกัด และโดเมนที่ไม่ใช่ข้อความ เช่น DNA และเสียง การวิจัยกำลังตรวจสอบว่า SSM บริสุทธิ์สามารถจับคู่ Transformers ในงานที่ต้องการการเรียกคืนที่แม่นยำได้หรือไม่ และไม่ว่าจะขยายขนาดโมเดลที่ใหญ่ที่สุดหรือไม่

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ความเร็วและขนาด. ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ
  • เข้าถึงและเข้าถึง. ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ

ระวัง

  • ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ
  • ความละเอียดอ่อนของการแจ้งเตือนสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันในคำขอที่คล้ายกัน
  • ข้อมูลข้อความที่ละเอียดอ่อนอาจถูกเปิดเผยหากการควบคุมการเข้าถึงอ่อนแอ

ขั้นตอนต่อไป

  1. กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว
  2. การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ
  3. รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง
  4. ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

ทำแบบทดสอบเรื่อง Mamba และ Selective State Spaces

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

Mamba และ Selective State Spaces คืออะไร

Mamba เป็นโมเดลลำดับที่สร้างขึ้นบนโมเดลพื้นที่รัฐ (SSM) ที่ประมวลผลข้อความในเวลาเชิงเส้น ซึ่งเสนอทางเลือกที่รวดเร็วแทนความสนใจกำลังสองของ Transformer เคล็ดลับสำคัญคือทำให้โมเดลเลือกตัดสินใจว่าจะจดจำและลืมอะไรโดยพิจารณาจากข้อมูลที่ป้อนเข้ามา

อะไรคือข้อได้เปรียบทางการคำนวณหลักของ Mamba เหนือ Transformer มาตรฐาน?

Mamba หลีกเลี่ยงการเปรียบเทียบโทเค็นทุกคู่ ดังนั้นต้นทุนของมันจึงเพิ่มขึ้นเป็นเส้นตรงตามความยาวของลำดับ แทนที่จะเป็นแบบกำลังสองเหมือนกับความสนใจ

คำว่า 'เลือกสรร' หมายถึงอะไรใน Mamba?

หัวกะทิหมายถึงพารามิเตอร์เช่น B, C และเดลต้ากลายเป็นฟังก์ชันของอินพุตปัจจุบัน ทำให้มีหน่วยความจำที่รับรู้เนื้อหา

แบบจำลองพื้นที่รัฐแสดงถึงประวัติของลำดับอย่างไร

SSM เป็นโมเดลรูปแบบที่เกิดซ้ำซึ่งพับอดีตให้อยู่ในสถานะที่มีขนาดคงที่ คล้ายกับ RNN

เหตุใด Mamba จึงไม่สามารถใช้ทางลัดแบบหมุนเร็วแบบที่ SSM รุ่นก่อนๆ ใช้ได้

มุมมองแบบบิดต้องใช้พารามิเตอร์คงที่ (ไม่แปรผันตามเวลา) พารามิเตอร์ที่ขึ้นอยู่กับอินพุตจะพัง ดังนั้น Mamba จึงใช้การสแกนแบบขนานแทน

Mamba ใช้เทคนิคใดในการคงความเร็วแม้จะสูญเสียทางลัดในการบิดตัวไป?

Mamba ใช้การสแกนแบบเลือกรับรู้ฮาร์ดแวร์ซึ่งจะเก็บสถานะระดับกลางไว้ใน SRAM ที่รวดเร็วเพื่อกู้คืนปริมาณงาน

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →