แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบจำลองอวกาศของรัฐและแบบทดสอบ Mamba
ทดสอบความซับซ้อนของลำดับพื้นที่สถานะ การเลือก Mamba การสแกนด้วยการรับรู้ฮาร์ดแวร์ สถานะการอนุมานที่เกิดซ้ำ และโมเดลไฮบริด
คำถาม 1 ของ 8
แบบจำลองพื้นที่ของรัฐจะปรับขนาดตามความยาวลำดับอย่างไร เมื่อเทียบกับการเอาใจใส่ตนเองแบบมาตรฐาน
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- แบบจำลองพื้นที่ของรัฐจะปรับขนาดตามความยาวลำดับอย่างไร เมื่อเทียบกับการเอาใจใส่ตนเองแบบมาตรฐาน
- แบบเชิงเส้นเทียบกับสเกลกำลังสองของความสนใจ
- ในรูปแบบกำลังสองเทียบกับสเกลเชิงเส้นของความสนใจ
- ทั้งสองขนาดเท่ากัน
- เอ็กซ์โปเนนเชียลสำหรับทั้งคู่
- นวัตกรรมหลักที่ Mamba เพิ่มให้กับ SSM ที่มีโครงสร้างก่อนหน้านี้ เช่น S4 คืออะไร?
- การใช้ความสนใจของ softmax ภายใน
- การทำให้พารามิเตอร์อัพเดตสถานะขึ้นอยู่กับอินพุต (หัวกะทิ)
- การลบสถานะที่ซ่อนอยู่ทั้งหมด
- การสลับไปใช้การคำนวณเวลากำลังสอง
- เหตุใด Mamba จึงต้องการการสแกนแบบขนานที่คำนึงถึงฮาร์ดแวร์แบบกำหนดเอง
- เนื่องจาก GPU ไม่สามารถทำการคูณเมทริกซ์ได้
- เพื่อลดจำนวนชั้น
- เนื่องจากการทำให้พารามิเตอร์ขึ้นอยู่กับอินพุตจะเป็นการหยุดเคล็ดลับการบิดแบบง่าย ๆ
- เนื่องจากไม่มีการใช้พารามิเตอร์ที่เรียนรู้
- ในระหว่างการอนุมาน ข้อได้เปรียบด้านประสิทธิภาพที่สำคัญของ SSM เช่น Mamba คือการใช้:
- หน่วยความจำที่ขยายตามความยาวลำดับแบบเต็ม เช่น แคช KV
- ไม่มีความทรงจำเลย
- หน่วยความจำมากกว่า Transformer ที่มีขนาดเท่ากัน
- หน่วยความจำคงที่โดยประมาณต่อโทเค็นที่สร้างขึ้น
- ใน SSM ที่มีโครงสร้างแบบคลาสสิก (ก่อนการเลือก) การเกิดขึ้นซ้ำสามารถคำนวณได้อย่างมีประสิทธิภาพเนื่องจากสามารถเขียนใหม่เป็น:
- การบิดยาว
- การทำงานของซอฟท์แม็กซ์
- ต้นไม้การตัดสินใจ
- ป่าสุ่ม
- Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
- ImageNet-1K
- กอง
- LibriSpeech only
- D4RL
- In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
- A nearest-neighbor lookup over audio frames
- A cross-attention layer over image patches
- An elementwise multiplicative interaction with a gated branch
- A graph-degree normalization step
- What language-modeling result does the Mamba paper report for its 3B model?
- It requires a Transformer cache twice as large
- It replaces the training corpus with audio only
- It can be trained without any data
- It matches Transformers twice its size in pretraining and downstream evaluation