Quiz collegato alla guida · Difficile Livello
RWKV Quiz sull'attenzione lineare
Esplora il gate di ricezione di RWKV, il decadimento temporale, la ricorrenza chiave/valore, lo stato a dimensione costante e il modulo di addestramento parallelo simile a Transformer.
Domanda 1 di 8
Qual è la proprietà principale di RWKV?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Qual è la proprietà principale di RWKV?
- Si allena come un Transformer ma esegue l'inferenza come un RNN
- Può essere addestrato solo su immagini
- Richiede una cache di valori-chiave quadratica
- Non può essere affatto parallelizzato
- Cosa significano le lettere in RWKV?
- Leggere, scrivere, conservare, verificare
- Ricettanza, Peso, Chiave, Valore
- Ricorrente, Ampio, Kernel, Vettoriale
- Casuale, Ponderato, Conoscenza, Variazione
- In che modo RWKV mantiene la memoria costante durante la generazione?
- Eliminando i pesi del modello
- Memorizzando ogni token sul disco
- Portando avanti un piccolo stato nascosto di dimensione fissa invece di una cache in crescita
- Limitando gli output a dieci token
- Che ruolo gioca il peso del decadimento temporale (W)?
- Imposta il tasso di apprendimento
- Conta il numero di gettoni
- Seleziona la lingua di output
- Controlla la velocità con cui le informazioni più vecchie perdono influenza
- Rispetto all'attenzione softmax, cosa evita la ricorrenza dell'attenzione lineare di RWKV?
- Il confronto quadratico dei token di tutte le coppie
- Qualsiasi utilizzo di chiavi e valori
- La necessità di incorporamenti
- L'uso delle reti neurali
- Perché RWKV è particolarmente adatto alla generazione di streaming?
- Perché deve vedere l'intero input prima di qualsiasi output
- Perché ogni nuovo token dipende solo dal precedente stato di dimensione fissa
- Perché non può generare testo
- Perché ha bisogno di un cluster GPU per ogni token
- In the guide’s RWKV description, what does the receptance gate control?
- How many image patches are generated
- The size of the model vocabulary
- How much of the accumulated state is read out
- The amount of GPU memory available
- What training property does RWKV retain from Transformers?
- Full quadratic key-value caching at inference
- A separate generator and discriminator
- A fixed top-k token router in every layer
- Parallelizable training across sequence positions