Test legat de ghid · Greu Nivel

Test de atenție liniară RWKV

Explorați poarta de recepție a RWKV, scaderea timpului, recurența cheie/valoare, starea de dimensiune constantă și forma de antrenament paralelă asemănătoare transformatorului.

Căi de ghidare aferenteRwkv Atenție liniară
Întrebare 1 de 8

Care este proprietatea de titlu a RWKV?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. Care este proprietatea de titlu a RWKV?
    • Se antrenează ca un transformator, dar rulează inferența ca un RNN
    • Poate fi antrenat doar pe imagini
    • Necesită un cache cheie-valoare pătratică
    • Nu poate fi paralelizată deloc
  2. Ce înseamnă literele din RWKV?
    • Citiți, scrieți, păstrați, verificați
    • Recepție, greutate, cheie, valoare
    • Recurent, Lat, Kernel, Vector
    • Aleatoriu, ponderat, cunoștințe, variație
  3. Cum menține RWKV memoria constantă în timpul generării?
    • Prin ștergerea greutăților modelului
    • Prin stocarea fiecărui token pe disc
    • Prin transportarea unei stări ascunse mici de dimensiuni fixe înainte în loc de un cache în creștere
    • Prin limitarea ieșirilor la zece jetoane
  4. Ce rol joacă greutatea de descompunere în timp (W)?
    • Acesta stabilește rata de învățare
    • Acesta numără numărul de jetoane
    • Alege limba de ieșire
    • Controlează cât de repede își pierd influența informațiile mai vechi
  5. În comparație cu atenția softmax, ce evită recurența atenției liniare a RWKV?
    • Comparația pătratică a tuturor perechilor de jetoane
    • Orice utilizare a cheilor și valorilor
    • Necesitatea înglobărilor
    • Utilizarea rețelelor neuronale
  6. De ce este RWKV deosebit de potrivit pentru generarea de streaming?
    • Pentru că trebuie să vadă întreaga intrare înainte de orice ieșire
    • Deoarece fiecare jeton nou depinde doar de starea anterioară de dimensiune fixă
    • Pentru că nu poate genera text
    • Pentru că are nevoie de un cluster GPU pentru fiecare token
  7. In the guide’s RWKV description, what does the receptance gate control?
    • How many image patches are generated
    • The size of the model vocabulary
    • How much of the accumulated state is read out
    • The amount of GPU memory available
  8. What training property does RWKV retain from Transformers?
    • Full quadratic key-value caching at inference
    • A separate generator and discriminator
    • A fixed top-k token router in every layer
    • Parallelizable training across sequence positions