Quiz collegato alla guida · Difficile Livello

Mamba e quiz sugli spazi statali selettivi

Esamina i parametri SSM dipendenti dall'input di Mamba, lo stato a dimensione fissa, l'elaborazione della sequenza in tempo lineare e la scansione parallela basata sull'hardware.

Percorsi guida correlatiMamba e spazi statali selettivi
Domanda 1 di 8

Qual è il principale vantaggio computazionale di Mamba rispetto a un Transformer standard?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è il principale vantaggio computazionale di Mamba rispetto a un Transformer standard?
    • Si ridimensiona linearmente con la lunghezza della sequenza anziché quadraticamente
    • Non necessita di dati di addestramento
    • Funziona solo sulle immagini
    • Elimina la necessità di qualsiasi stato nascosto
  2. A cosa si riferisce la parola 'selettivo' in Mamba?
    • Seleziona su quale GPU eseguire
    • I suoi parametri SSM dipendono dal token di input, quindi può scegliere cosa ricordare o dimenticare
    • Seleziona solo nomi e verbi
    • Seleziona un sottoinsieme casuale di token da ignorare
  3. In che modo un modello dello spazio degli stati rappresenta la storia di una sequenza?
    • Memorizzando esplicitamente ogni token precedente
    • Disegnando una mappa dell'attenzione su tutte le coppie
    • Comprimendo la cronologia in uno stato nascosto di dimensione fissa aggiornato passo dopo passo
    • Non conserva alcuna cronologia
  4. Perché Mamba non può utilizzare la scorciatoia di convoluzione rapida utilizzata dai precedenti SSM?
    • Perché le convoluzioni sono illegali sulle GPU
    • Perché non ha parametri
    • Perché elabora i token in ordine casuale
    • Poiché rendere i parametri dipendenti dall'input interrompe le convoluzioni di invarianza temporale richieste
  5. Quale tecnica usa Mamba per rimanere veloce nonostante perda la scorciatoia di convoluzione?
    • Una scansione parallela compatibile con l'hardware mantenuta nella veloce memoria della GPU
    • Funziona interamente sulla CPU
    • Memorizzazione nella cache di tutte le coppie di token
    • Saltando la maggior parte della sequenza
  6. Chi ha introdotto Mamba e più o meno quando?
    • OpenAI nel 2018
    • Albert Gu e Tri Dao alla fine del 2023
    • Google nel 2015
    • Nessuno, è ipotetico
  7. Which Mamba state-space parameters are made functions of the current input?
    • Only the fixed transition matrix A
    • The output vocabulary and tokenizer
    • B, C, and the step size delta
    • The attention query and key heads
  8. What do the variable B, C, and delta parameters let Mamba do?
    • Build a growing key-value cache for every token
    • Route each token to an expert network only
    • Replace the state update with full all-pairs attention
    • Choose how much information to let into the state and how much to retain based on the input