Kuiz berkaitan panduan · Keras Tahap

Kuiz Mamba dan Ruang Negeri Terpilih

Semak parameter SSM yang bergantung kepada input Mamba, keadaan saiz tetap, pemprosesan jujukan masa linear dan imbasan selari yang menyedari perkakasan.

Laluan panduan yang berkaitanMamba Dan Ruang Negeri Terpilih
soalan 1 daripada 8

Apakah kelebihan pengiraan utama Mamba berbanding Transformer standard?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah kelebihan pengiraan utama Mamba berbanding Transformer standard?
    • Ia berskala secara linear dengan panjang jujukan bukannya secara kuadratik
    • Ia tidak memerlukan data latihan
    • Ia hanya berfungsi pada imej
    • Ia menghilangkan keperluan untuk mana-mana keadaan tersembunyi
  2. Apakah yang dimaksudkan dengan perkataan 'selektif' dalam Mamba?
    • Ia memilih GPU untuk dijalankan
    • Parameter SSMnya bergantung pada token input, jadi ia boleh memilih perkara yang perlu diingat atau dilupakan
    • Ia hanya memilih kata nama dan kata kerja
    • Ia memilih subset rawak token untuk diabaikan
  3. Bagaimanakah model ruang negeri mewakili sejarah urutan?
    • Dengan menyimpan setiap token sebelumnya secara eksplisit
    • Dengan melukis peta perhatian ke atas semua pasangan
    • Dengan memampatkan sejarah ke dalam keadaan tersembunyi saiz tetap dikemas kini langkah demi langkah
    • Ia tidak menyimpan sebarang sejarah
  4. Mengapa Mamba tidak boleh menggunakan pintasan lilitan pantas yang digunakan oleh SSM terdahulu?
    • Kerana konvolusi adalah haram pada GPU
    • Kerana ia tidak mempunyai parameter
    • Kerana ia memproses token dalam susunan rawak
    • Kerana membuat parameter yang bergantung kepada input memecah belitan masa-invarian yang diperlukan
  5. Apakah teknik yang Mamba gunakan untuk kekal pantas walaupun kehilangan jalan pintas konvolusi?
    • Imbasan selari yang menyedari perkakasan disimpan dalam memori GPU yang pantas
    • Berjalan sepenuhnya pada CPU
    • Caching semua pasangan token
    • Melangkau sebahagian besar urutan
  6. Siapa yang memperkenalkan Mamba dan kira-kira bila?
    • OpenAI pada 2018
    • Albert Gu dan Tri Dao pada akhir 2023
    • Google pada tahun 2015
    • Tiada siapa, ia adalah hipotesis
  7. Which Mamba state-space parameters are made functions of the current input?
    • Only the fixed transition matrix A
    • The output vocabulary and tokenizer
    • B, C, and the step size delta
    • The attention query and key heads
  8. What do the variable B, C, and delta parameters let Mamba do?
    • Build a growing key-value cache for every token
    • Route each token to an expert network only
    • Replace the state update with full all-pairs attention
    • Choose how much information to let into the state and how much to retain based on the input