แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบจำลองอวกาศของรัฐและแบบทดสอบ Mamba

ทดสอบความซับซ้อนของลำดับพื้นที่สถานะ การเลือก Mamba การสแกนด้วยการรับรู้ฮาร์ดแวร์ สถานะการอนุมานที่เกิดซ้ำ และโมเดลไฮบริด

เส้นทางแนะนำที่เกี่ยวข้องแบบจำลองอวกาศของรัฐและ Mamba
คำถาม 1 ของ 8

แบบจำลองพื้นที่ของรัฐจะปรับขนาดตามความยาวลำดับอย่างไร เมื่อเทียบกับการเอาใจใส่ตนเองแบบมาตรฐาน

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. แบบจำลองพื้นที่ของรัฐจะปรับขนาดตามความยาวลำดับอย่างไร เมื่อเทียบกับการเอาใจใส่ตนเองแบบมาตรฐาน
    • แบบเชิงเส้นเทียบกับสเกลกำลังสองของความสนใจ
    • ในรูปแบบกำลังสองเทียบกับสเกลเชิงเส้นของความสนใจ
    • ทั้งสองขนาดเท่ากัน
    • เอ็กซ์โปเนนเชียลสำหรับทั้งคู่
  2. นวัตกรรมหลักที่ Mamba เพิ่มให้กับ SSM ที่มีโครงสร้างก่อนหน้านี้ เช่น S4 คืออะไร?
    • การใช้ความสนใจของ softmax ภายใน
    • การทำให้พารามิเตอร์อัพเดตสถานะขึ้นอยู่กับอินพุต (หัวกะทิ)
    • การลบสถานะที่ซ่อนอยู่ทั้งหมด
    • การสลับไปใช้การคำนวณเวลากำลังสอง
  3. เหตุใด Mamba จึงต้องการการสแกนแบบขนานที่คำนึงถึงฮาร์ดแวร์แบบกำหนดเอง
    • เนื่องจาก GPU ไม่สามารถทำการคูณเมทริกซ์ได้
    • เพื่อลดจำนวนชั้น
    • เนื่องจากการทำให้พารามิเตอร์ขึ้นอยู่กับอินพุตจะเป็นการหยุดเคล็ดลับการบิดแบบง่าย ๆ
    • เนื่องจากไม่มีการใช้พารามิเตอร์ที่เรียนรู้
  4. ในระหว่างการอนุมาน ข้อได้เปรียบด้านประสิทธิภาพที่สำคัญของ SSM เช่น Mamba คือการใช้:
    • หน่วยความจำที่ขยายตามความยาวลำดับแบบเต็ม เช่น แคช KV
    • ไม่มีความทรงจำเลย
    • หน่วยความจำมากกว่า Transformer ที่มีขนาดเท่ากัน
    • หน่วยความจำคงที่โดยประมาณต่อโทเค็นที่สร้างขึ้น
  5. ใน SSM ที่มีโครงสร้างแบบคลาสสิก (ก่อนการเลือก) การเกิดขึ้นซ้ำสามารถคำนวณได้อย่างมีประสิทธิภาพเนื่องจากสามารถเขียนใหม่เป็น:
    • การบิดยาว
    • การทำงานของซอฟท์แม็กซ์
    • ต้นไม้การตัดสินใจ
    • ป่าสุ่ม
  6. Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
    • ImageNet-1K
    • กอง
    • LibriSpeech only
    • D4RL
  7. In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
    • A nearest-neighbor lookup over audio frames
    • A cross-attention layer over image patches
    • An elementwise multiplicative interaction with a gated branch
    • A graph-degree normalization step
  8. What language-modeling result does the Mamba paper report for its 3B model?
    • It requires a Transformer cache twice as large
    • It replaces the training corpus with audio only
    • It can be trained without any data
    • It matches Transformers twice its size in pretraining and downstream evaluation