แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบ Mamba และ Selective State Spaces
ตรวจสอบพารามิเตอร์ SSM ที่ขึ้นกับอินพุตของ Mamba สถานะขนาดคงที่ การประมวลผลลำดับเวลาเชิงเส้น และการสแกนแบบขนานที่รับรู้ฮาร์ดแวร์
คำถาม 1 ของ 8
อะไรคือข้อได้เปรียบทางการคำนวณหลักของ Mamba เหนือ Transformer มาตรฐาน?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- อะไรคือข้อได้เปรียบทางการคำนวณหลักของ Mamba เหนือ Transformer มาตรฐาน?
- มันปรับขนาดเชิงเส้นตามความยาวของลำดับแทนที่จะเป็นกำลังสอง
- ไม่ต้องการข้อมูลการฝึกอบรม
- มันใช้งานได้กับภาพเท่านั้น
- มันขจัดความจำเป็นในการซ่อนสถานะใด ๆ
- คำว่า 'เลือกสรร' หมายถึงอะไรใน Mamba?
- มันเลือก GPU ที่จะรัน
- พารามิเตอร์ SSM ขึ้นอยู่กับโทเค็นอินพุต ดังนั้นจึงสามารถเลือกสิ่งที่จะจำหรือลืมได้
- โดยจะเลือกเฉพาะคำนามและกริยาเท่านั้น
- โดยจะสุ่มเลือกชุดย่อยของโทเค็นที่จะเพิกเฉย
- แบบจำลองพื้นที่รัฐแสดงถึงประวัติของลำดับอย่างไร
- โดยจัดเก็บโทเค็นก่อนหน้านี้ทั้งหมดไว้อย่างชัดเจน
- โดยวาดแผนที่ความสนใจไว้เหนือทุกคู่
- โดยการบีบอัดประวัติให้เป็นสถานะซ่อนขนาดคงที่ที่อัปเดตทีละขั้นตอน
- มันไม่เก็บประวัติใดๆ
- เหตุใด Mamba จึงไม่สามารถใช้ทางลัดแบบหมุนเร็วแบบที่ SSM รุ่นก่อนๆ ใช้ได้
- เนื่องจากการโน้มน้าวใจนั้นผิดกฎหมายใน GPU
- เพราะมันไม่มีพารามิเตอร์
- เพราะมันประมวลผลโทเค็นตามลำดับแบบสุ่ม
- เนื่องจากการทำให้พารามิเตอร์ขึ้นอยู่กับอินพุตจะเป็นตัวแบ่งการโน้มน้าวที่ไม่แปรผันตามเวลาที่ต้องการ
- Mamba ใช้เทคนิคใดในการคงความเร็วแม้จะสูญเสียทางลัดในการบิดตัวไป?
- การสแกนแบบขนานที่รับรู้ถึงฮาร์ดแวร์เก็บไว้ในหน่วยความจำ GPU ที่รวดเร็ว
- ทำงานบน CPU ทั้งหมด
- กำลังแคชคู่โทเค็นทั้งหมด
- ข้ามลำดับไปซะส่วนใหญ่
- ใครเป็นผู้แนะนำ Mamba และเมื่อใดโดยประมาณ?
- OpenAI ในปี 2018
- Albert Gu และ Tri Dao ในปลายปี 2023
- Google ในปี 2558
- ไม่มีใครมันเป็นเรื่องสมมุติ
- Which Mamba state-space parameters are made functions of the current input?
- Only the fixed transition matrix A
- The output vocabulary and tokenizer
- B, C, and the step size delta
- The attention query and key heads
- What do the variable B, C, and delta parameters let Mamba do?
- Build a growing key-value cache for every token
- Route each token to an expert network only
- Replace the state update with full all-pairs attention
- Choose how much information to let into the state and how much to retain based on the input