Kuiz berkaitan panduan · Keras Tahap

Model Angkasa Negeri dan Kuiz Mamba

Uji kerumitan jujukan ruang keadaan, selektiviti Mamba, imbasan sedar perkakasan, keadaan inferens berulang dan model hibrid.

Laluan panduan yang berkaitanModel Angkasa Negeri Dan Mamba
soalan 1 daripada 8

Bagaimanakah skala model ruang menyatakan dengan panjang jujukan, berbanding dengan perhatian kendiri standard?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Bagaimanakah skala model ruang menyatakan dengan panjang jujukan, berbanding dengan perhatian kendiri standard?
    • Secara linear, berbanding penskalaan kuadratik perhatian
    • Secara kuadratik, berbanding penskalaan linear perhatian
    • Kedua-duanya berskala sama
    • Secara eksponen untuk kedua-duanya
  2. Apakah inovasi utama yang ditambahkan oleh Mamba pada SSM berstruktur sebelumnya seperti S4?
    • Menggunakan perhatian softmax secara dalaman
    • Membuat parameter kemas kini keadaan bergantung pada input (selektiviti)
    • Mengalih keluar keadaan tersembunyi sepenuhnya
    • Bertukar kepada pengiraan masa kuadratik
  3. Mengapakah Mamba memerlukan imbasan selari peka perkakasan tersuai?
    • Kerana GPU tidak boleh melakukan pendaraban matriks
    • Untuk mengurangkan bilangan lapisan
    • Kerana membuat parameter bergantung kepada input memecahkan helah lilitan mudah
    • Kerana ia tidak menggunakan parameter yang dipelajari
  4. Semasa inferens, kelebihan kecekapan utama SSM seperti Mamba ialah ia menggunakan:
    • Memori yang tumbuh dengan panjang jujukan penuh, seperti cache KV
    • Tiada ingatan langsung
    • Lebih banyak memori daripada Transformer dengan saiz yang sama
    • Memori yang agak malar bagi setiap token yang dijana
  5. Dalam SSM berstruktur klasik (sebelum selektiviti), ulangan boleh dikira dengan cekap kerana ia boleh ditulis semula sebagai:
    • Konvolusi panjang
    • Operasi Softmax
    • Pokok keputusan
    • Hutan rawak
  6. Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
    • ImageNet-1K
    • The Pile
    • LibriSpeech only
    • D4RL
  7. In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
    • A nearest-neighbor lookup over audio frames
    • A cross-attention layer over image patches
    • An elementwise multiplicative interaction with a gated branch
    • A graph-degree normalization step
  8. What language-modeling result does the Mamba paper report for its 3B model?
    • It requires a Transformer cache twice as large
    • It replaces the training corpus with audio only
    • It can be trained without any data
    • It matches Transformers twice its size in pretraining and downstream evaluation