Quiz collegato alla guida · Difficile Livello
Mamba e quiz sugli spazi statali selettivi
Esamina i parametri SSM dipendenti dall'input di Mamba, lo stato a dimensione fissa, l'elaborazione della sequenza in tempo lineare e la scansione parallela basata sull'hardware.
Domanda 1 di 8
Qual è il principale vantaggio computazionale di Mamba rispetto a un Transformer standard?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Qual è il principale vantaggio computazionale di Mamba rispetto a un Transformer standard?
- Si ridimensiona linearmente con la lunghezza della sequenza anziché quadraticamente
- Non necessita di dati di addestramento
- Funziona solo sulle immagini
- Elimina la necessità di qualsiasi stato nascosto
- A cosa si riferisce la parola 'selettivo' in Mamba?
- Seleziona su quale GPU eseguire
- I suoi parametri SSM dipendono dal token di input, quindi può scegliere cosa ricordare o dimenticare
- Seleziona solo nomi e verbi
- Seleziona un sottoinsieme casuale di token da ignorare
- In che modo un modello dello spazio degli stati rappresenta la storia di una sequenza?
- Memorizzando esplicitamente ogni token precedente
- Disegnando una mappa dell'attenzione su tutte le coppie
- Comprimendo la cronologia in uno stato nascosto di dimensione fissa aggiornato passo dopo passo
- Non conserva alcuna cronologia
- Perché Mamba non può utilizzare la scorciatoia di convoluzione rapida utilizzata dai precedenti SSM?
- Perché le convoluzioni sono illegali sulle GPU
- Perché non ha parametri
- Perché elabora i token in ordine casuale
- Poiché rendere i parametri dipendenti dall'input interrompe le convoluzioni di invarianza temporale richieste
- Quale tecnica usa Mamba per rimanere veloce nonostante perda la scorciatoia di convoluzione?
- Una scansione parallela compatibile con l'hardware mantenuta nella veloce memoria della GPU
- Funziona interamente sulla CPU
- Memorizzazione nella cache di tutte le coppie di token
- Saltando la maggior parte della sequenza
- Chi ha introdotto Mamba e più o meno quando?
- OpenAI nel 2018
- Albert Gu e Tri Dao alla fine del 2023
- Google nel 2015
- Nessuno, è ipotetico
- Which Mamba state-space parameters are made functions of the current input?
- Only the fixed transition matrix A
- The output vocabulary and tokenizer
- B, C, and the step size delta
- The attention query and key heads
- What do the variable B, C, and delta parameters let Mamba do?
- Build a growing key-value cache for every token
- Route each token to an expert network only
- Replace the state update with full all-pairs attention
- Choose how much information to let into the state and how much to retain based on the input