Kuis Mamba dan Ruang Negara Selektif

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa keunggulan komputasi utama Mamba dibandingkan Transformer standar?
   • Ini berskala linier dengan panjang urutan, bukan secara kuadrat
   • Tidak memerlukan data pelatihan
   • Ini hanya berfungsi pada gambar
   • Ini menghilangkan kebutuhan akan keadaan tersembunyi apa pun
2. Apa arti kata 'selektif' dalam bahasa Mamba?
   • Ini memilih GPU mana yang akan dijalankan
   • Parameter SSM-nya bergantung pada token masukan, sehingga dapat memilih apa yang akan diingat atau dilupakan
   • Ini hanya memilih kata benda dan kata kerja
   • Ia mengambil subset token secara acak untuk diabaikan
3. Bagaimana model ruang negara mewakili sejarah suatu rangkaian?
   • Dengan menyimpan setiap token sebelumnya secara eksplisit
   • Dengan menggambar peta perhatian pada semua pasangan
   • Dengan mengompresi riwayat menjadi status tersembunyi berukuran tetap, diperbarui selangkah demi selangkah
   • Itu tidak menyimpan sejarah apa pun
4. Mengapa Mamba tidak dapat menggunakan pintasan konvolusi cepat yang digunakan SSM sebelumnya?
   • Karena konvolusi adalah ilegal di GPU
   • Karena tidak ada parameternya
   • Karena memproses token dalam urutan acak
   • Karena membuat parameter bergantung pada input akan merusak konvolusi invariansi waktu
5. Teknik apa yang digunakan Mamba agar tetap cepat meski kehilangan pintasan konvolusi?
   • Pemindaian paralel yang sadar perangkat keras disimpan dalam memori GPU yang cepat
   • Berjalan sepenuhnya pada CPU
   • Menyimpan semua pasangan token dalam cache
   • Melewatkan sebagian besar urutan
6. Siapa yang memperkenalkan Mamba dan kira-kira kapan?
   • OpenAI pada tahun 2018
   • Albert Gu dan Tri Dao di akhir tahun 2023
   • Google pada tahun 2015
   • Tidak seorang pun, ini hanya hipotesis
7. Which Mamba state-space parameters are made functions of the current input?
   • Only the fixed transition matrix A
   • The output vocabulary and tokenizer
   • B, C, and the step size delta
   • The attention query and key heads
8. What do the variable B, C, and delta parameters let Mamba do?
   • Build a growing key-value cache for every token
   • Route each token to an expert network only
   • Replace the state update with full all-pairs attention
   • Choose how much information to let into the state and how much to retain based on the input