Rehber bağlantılı sınav · Sert Seviye
Durum Uzay Modelleri ve Mamba Testi
Durum-uzay dizisi karmaşıklığını, Mamba seçiciliğini, donanıma duyarlı taramayı, yinelenen çıkarım durumunu ve hibrit modelleri test edin.
Soru 1 arasında 8
Bir durum uzayı modeli, standart öz-dikkatle karşılaştırıldığında dizi uzunluğuna göre nasıl ölçeklenir?
Her soruyu önizleyin8 sorular
Testi çözdüğünüzde cevaplar ve açıklamalar görünür.
- Bir durum uzayı modeli, standart öz-dikkatle karşılaştırıldığında dizi uzunluğuna göre nasıl ölçeklenir?
- Doğrusal olarak, dikkatin ikinci dereceden ölçeklendirmesine karşı
- İkinci dereceden, dikkatin doğrusal ölçeklendirmesine karşı
- Her ikisi de aynı şekilde ölçeklenir
- Her ikisi için de üstel olarak
- Mamba'nın S4 gibi önceki yapılandırılmış SSM'lere eklediği temel yenilik nedir?
- Softmax dikkatini dahili olarak kullanma
- Durum güncelleme parametrelerinin girişe bağlı hale getirilmesi (seçicilik)
- Gizli durumu tamamen kaldırma
- İkinci dereceden zamanlı hesaplamaya geçiş
- Mamba'nın neden donanıma duyarlı özel bir paralel taramaya ihtiyacı vardı?
- Çünkü GPU'lar matris çarpımı yapamaz
- Katman sayısını azaltmak için
- Çünkü parametreleri girdiye bağımlı hale getirmek basit evrişim hilesini bozar
- Çünkü öğrenilmiş parametre kullanmaz
- Çıkarım sırasında Mamba gibi bir SSM'nin temel verimlilik avantajı şunları kullanmasıdır:
- KV önbelleği gibi tam dizi uzunluğuyla büyüyen bellek
- Hiç hafıza yok
- Eşit büyüklükteki bir Transformatörden daha fazla bellek
- Oluşturulan jeton başına yaklaşık olarak sabit bellek
- Klasik yapılandırılmış SSM'lerde (seçicilikten önce), yineleme verimli bir şekilde hesaplanabilir çünkü şu şekilde yeniden yazılabilir:
- Uzun evrişim
- Softmax işlemi
- Karar ağacı
- Rastgele orman
- Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
- ImageNet-1K
- Kazık
- LibriSpeech only
- D4RL
- In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
- A nearest-neighbor lookup over audio frames
- A cross-attention layer over image patches
- An elementwise multiplicative interaction with a gated branch
- A graph-degree normalization step
- What language-modeling result does the Mamba paper report for its 3B model?
- It requires a Transformer cache twice as large
- It replaces the training corpus with audio only
- It can be trained without any data
- It matches Transformers twice its size in pretraining and downstream evaluation