Rehber bağlantılı sınav · Sert Seviye

Mamba ve Seçici Durum Uzayları Testi

Mamba'nın girişe bağlı SSM parametrelerini, sabit boyutlu durumu, doğrusal zamanlı sıralı işlemeyi ve donanıma duyarlı paralel taramayı inceleyin.

İlgili kılavuz yollarıMamba ve Seçici Durum Uzayları
Soru 1 arasında 8

Mamba'nın standart bir Transformer'a göre temel hesaplama avantajı nedir?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. Mamba'nın standart bir Transformer'a göre temel hesaplama avantajı nedir?
    • İkinci dereceden yerine dizi uzunluğuyla doğrusal olarak ölçeklenir
    • Eğitim verisine ihtiyaç duymaz
    • Yalnızca görseller üzerinde çalışır
    • Herhangi bir gizli duruma olan ihtiyacı ortadan kaldırır
  2. Mamba'da 'seçici' kelimesi neyi ifade ediyor?
    • Hangi GPU'nun çalışacağını seçer
    • SSM parametreleri giriş jetonuna bağlıdır, dolayısıyla neyi hatırlayıp unutacağını seçebilir
    • Yalnızca isimleri ve fiilleri seçer
    • Yoksaymak için rastgele bir token alt kümesi seçer
  3. Durum uzayı modeli bir dizinin geçmişini nasıl temsil eder?
    • Önceki her jetonu açıkça depolayarak
    • Tüm çiftlerin üzerine bir dikkat haritası çizerek
    • Geçmişi, adım adım güncellenen sabit boyutlu bir gizli duruma sıkıştırarak
    • Herhangi bir geçmişi tutmuyor
  4. Mamba neden daha önceki SSM'lerin kullandığı hızlı evrişim kısayolunu kullanamıyor?
    • Çünkü GPU'larda evrişimler yasa dışıdır
    • Çünkü hiçbir parametresi yok
    • Çünkü jetonları rastgele sırayla işler
    • Çünkü parametrelerin girdiye bağımlı hale getirilmesi, zamanla değişmezlik evrişimlerinin gerektirdiği
  5. Mamba, evrişim kısayolunu kaybetmesine rağmen hızlı kalmak için hangi tekniği kullanıyor?
    • Hızlı GPU belleğinde tutulan, donanıma duyarlı paralel tarama
    • Tamamen CPU üzerinde çalışıyor
    • Tüm belirteç çiftlerini önbelleğe alma
    • Sıranın çoğunu atlamak
  6. Mamba'yı kim ve yaklaşık olarak ne zaman tanıttı?
    • OpenAI 2018'de
    • Albert Gu ve Tri Dao, 2023'ün sonlarında
    • Google, 2015'te
    • Hiç kimse, varsayımsal
  7. Which Mamba state-space parameters are made functions of the current input?
    • Only the fixed transition matrix A
    • The output vocabulary and tokenizer
    • B, C, and the step size delta
    • The attention query and key heads
  8. What do the variable B, C, and delta parameters let Mamba do?
    • Build a growing key-value cache for every token
    • Route each token to an expert network only
    • Replace the state update with full all-pairs attention
    • Choose how much information to let into the state and how much to retain based on the input