Kuis terkait panduan · Keras Tingkat

Model Luar Angkasa Negara dan Kuis Mamba

Uji kompleksitas urutan ruang-status, selektivitas Mamba, pemindaian sadar perangkat keras, status inferensi berulang, dan model hibrid.

Jalur panduan terkaitModel Luar Angkasa Negara Dan Mamba
Pertanyaan 1 dari 8

Bagaimana model ruang negara berskala dengan panjang urutan, dibandingkan dengan perhatian mandiri standar?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Bagaimana model ruang negara berskala dengan panjang urutan, dibandingkan dengan perhatian mandiri standar?
    • Secara linier, versus penskalaan kuadrat perhatian
    • Secara kuadratik, versus penskalaan linier perhatian
    • Keduanya berskala secara identik
    • Secara eksponensial untuk keduanya
  2. Apa inovasi utama yang ditambahkan Mamba ke SSM terstruktur sebelumnya seperti S4?
    • Menggunakan perhatian softmax secara internal
    • Membuat parameter pembaruan status bergantung pada input (selektivitas)
    • Menghapus seluruh status tersembunyi
    • Beralih ke perhitungan waktu kuadrat
  3. Mengapa Mamba memerlukan pemindaian paralel khusus perangkat keras?
    • Karena GPU tidak bisa melakukan perkalian matriks
    • Untuk mengurangi jumlah lapisan
    • Karena membuat parameter bergantung pada input akan mematahkan trik konvolusi sederhana
    • Karena tidak menggunakan parameter yang dipelajari
  4. Selama inferensi, keunggulan efisiensi utama SSM seperti Mamba adalah ia menggunakan:
    • Memori yang bertambah seiring panjang urutan penuh, seperti cache KV
    • Tidak ada memori sama sekali
    • Lebih banyak memori daripada Transformer dengan ukuran yang sama
    • Memori yang kira-kira konstan per token yang dihasilkan
  5. Dalam SSM terstruktur klasik (sebelum selektivitas), pengulangan dapat dihitung secara efisien karena dapat ditulis ulang sebagai:
    • Konvolusi panjang
    • Operasi Softmax
    • Pohon keputusan
    • Hutan acak
  6. Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
    • ImageNet-1K
    • Tumpukan
    • LibriSpeech only
    • D4RL
  7. In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
    • A nearest-neighbor lookup over audio frames
    • A cross-attention layer over image patches
    • An elementwise multiplicative interaction with a gated branch
    • A graph-degree normalization step
  8. What language-modeling result does the Mamba paper report for its 3B model?
    • It requires a Transformer cache twice as large
    • It replaces the training corpus with audio only
    • It can be trained without any data
    • It matches Transformers twice its size in pretraining and downstream evaluation