Quiz collegato alla guida · Difficile Livello

RWKV Quiz sull'attenzione lineare

Esplora il gate di ricezione di RWKV, il decadimento temporale, la ricorrenza chiave/valore, lo stato a dimensione costante e il modulo di addestramento parallelo simile a Transformer.

Percorsi guida correlatiRwkv Attenzione lineare
Domanda 1 di 8

Qual è la proprietà principale di RWKV?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è la proprietà principale di RWKV?
    • Si allena come un Transformer ma esegue l'inferenza come un RNN
    • Può essere addestrato solo su immagini
    • Richiede una cache di valori-chiave quadratica
    • Non può essere affatto parallelizzato
  2. Cosa significano le lettere in RWKV?
    • Leggere, scrivere, conservare, verificare
    • Ricettanza, Peso, Chiave, Valore
    • Ricorrente, Ampio, Kernel, Vettoriale
    • Casuale, Ponderato, Conoscenza, Variazione
  3. In che modo RWKV mantiene la memoria costante durante la generazione?
    • Eliminando i pesi del modello
    • Memorizzando ogni token sul disco
    • Portando avanti un piccolo stato nascosto di dimensione fissa invece di una cache in crescita
    • Limitando gli output a dieci token
  4. Che ruolo gioca il peso del decadimento temporale (W)?
    • Imposta il tasso di apprendimento
    • Conta il numero di gettoni
    • Seleziona la lingua di output
    • Controlla la velocità con cui le informazioni più vecchie perdono influenza
  5. Rispetto all'attenzione softmax, cosa evita la ricorrenza dell'attenzione lineare di RWKV?
    • Il confronto quadratico dei token di tutte le coppie
    • Qualsiasi utilizzo di chiavi e valori
    • La necessità di incorporamenti
    • L'uso delle reti neurali
  6. Perché RWKV è particolarmente adatto alla generazione di streaming?
    • Perché deve vedere l'intero input prima di qualsiasi output
    • Perché ogni nuovo token dipende solo dal precedente stato di dimensione fissa
    • Perché non può generare testo
    • Perché ha bisogno di un cluster GPU per ogni token
  7. In the guide’s RWKV description, what does the receptance gate control?
    • How many image patches are generated
    • The size of the model vocabulary
    • How much of the accumulated state is read out
    • The amount of GPU memory available
  8. What training property does RWKV retain from Transformers?
    • Full quadratic key-value caching at inference
    • A separate generator and discriminator
    • A fixed top-k token router in every layer
    • Parallelizable training across sequence positions