แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบ Mamba และ Selective State Spaces

ตรวจสอบพารามิเตอร์ SSM ที่ขึ้นกับอินพุตของ Mamba สถานะขนาดคงที่ การประมวลผลลำดับเวลาเชิงเส้น และการสแกนแบบขนานที่รับรู้ฮาร์ดแวร์

เส้นทางแนะนำที่เกี่ยวข้องMamba และช่องว่างของรัฐแบบเลือกสรร
คำถาม 1 ของ 8

อะไรคือข้อได้เปรียบทางการคำนวณหลักของ Mamba เหนือ Transformer มาตรฐาน?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. อะไรคือข้อได้เปรียบทางการคำนวณหลักของ Mamba เหนือ Transformer มาตรฐาน?
    • มันปรับขนาดเชิงเส้นตามความยาวของลำดับแทนที่จะเป็นกำลังสอง
    • ไม่ต้องการข้อมูลการฝึกอบรม
    • มันใช้งานได้กับภาพเท่านั้น
    • มันขจัดความจำเป็นในการซ่อนสถานะใด ๆ
  2. คำว่า 'เลือกสรร' หมายถึงอะไรใน Mamba?
    • มันเลือก GPU ที่จะรัน
    • พารามิเตอร์ SSM ขึ้นอยู่กับโทเค็นอินพุต ดังนั้นจึงสามารถเลือกสิ่งที่จะจำหรือลืมได้
    • โดยจะเลือกเฉพาะคำนามและกริยาเท่านั้น
    • โดยจะสุ่มเลือกชุดย่อยของโทเค็นที่จะเพิกเฉย
  3. แบบจำลองพื้นที่รัฐแสดงถึงประวัติของลำดับอย่างไร
    • โดยจัดเก็บโทเค็นก่อนหน้านี้ทั้งหมดไว้อย่างชัดเจน
    • โดยวาดแผนที่ความสนใจไว้เหนือทุกคู่
    • โดยการบีบอัดประวัติให้เป็นสถานะซ่อนขนาดคงที่ที่อัปเดตทีละขั้นตอน
    • มันไม่เก็บประวัติใดๆ
  4. เหตุใด Mamba จึงไม่สามารถใช้ทางลัดแบบหมุนเร็วแบบที่ SSM รุ่นก่อนๆ ใช้ได้
    • เนื่องจากการโน้มน้าวใจนั้นผิดกฎหมายใน GPU
    • เพราะมันไม่มีพารามิเตอร์
    • เพราะมันประมวลผลโทเค็นตามลำดับแบบสุ่ม
    • เนื่องจากการทำให้พารามิเตอร์ขึ้นอยู่กับอินพุตจะเป็นตัวแบ่งการโน้มน้าวที่ไม่แปรผันตามเวลาที่ต้องการ
  5. Mamba ใช้เทคนิคใดในการคงความเร็วแม้จะสูญเสียทางลัดในการบิดตัวไป?
    • การสแกนแบบขนานที่รับรู้ถึงฮาร์ดแวร์เก็บไว้ในหน่วยความจำ GPU ที่รวดเร็ว
    • ทำงานบน CPU ทั้งหมด
    • กำลังแคชคู่โทเค็นทั้งหมด
    • ข้ามลำดับไปซะส่วนใหญ่
  6. ใครเป็นผู้แนะนำ Mamba และเมื่อใดโดยประมาณ?
    • OpenAI ในปี 2018
    • Albert Gu และ Tri Dao ในปลายปี 2023
    • Google ในปี 2558
    • ไม่มีใครมันเป็นเรื่องสมมุติ
  7. Which Mamba state-space parameters are made functions of the current input?
    • Only the fixed transition matrix A
    • The output vocabulary and tokenizer
    • B, C, and the step size delta
    • The attention query and key heads
  8. What do the variable B, C, and delta parameters let Mamba do?
    • Build a growing key-value cache for every token
    • Route each token to an expert network only
    • Replace the state update with full all-pairs attention
    • Choose how much information to let into the state and how much to retain based on the input