Kvíz spojený s průvodcem · Těžko úroveň

RWKV kvíz s lineární pozorností

Prozkoumejte bránu příjmu RWKV, časový pokles, opakování klíč/hodnota, stav konstantní velikosti a paralelní tréninkovou formu podobnou transformátoru.

Související vodicí cestyRwkv lineární pozornost
Otázka 1 z 8

Jaká je vlastnost titulku RWKV?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaká je vlastnost titulku RWKV?
    • Trénuje jako Transformer, ale funguje jako RNN
    • Dá se trénovat pouze na obrázcích
    • Vyžaduje mezipaměť kvadratického klíče a hodnoty
    • Nejde to vůbec paralelizovat
  2. Co znamenají písmena v RWKV?
    • Číst, psát, uchovávat, ověřovat
    • Příjem, váha, klíč, hodnota
    • Opakující se, Široký, Jádro, Vektor
    • Náhodné, vážené, znalosti, variace
  3. Jak RWKV udržuje konstantní paměť během generování?
    • Smazáním modelových závaží
    • Uložením každého tokenu na disk
    • Přenesením malého skrytého stavu s pevnou velikostí vpřed namísto rostoucí mezipaměti
    • Omezením výstupů na deset tokenů
  4. Jakou roli hraje váha rozpadu v čase (W)?
    • Nastavuje rychlost učení
    • Počítá počet žetonů
    • Vybere výstupní jazyk
    • Řídí, jak rychle starší informace ztrácejí vliv
  5. Čemu se ve srovnání s pozorností softmax vyhýbá opakování lineární pozornosti RWKV?
    • Kvadratické porovnání tokenů všech párů
    • Jakékoli použití klíčů a hodnot
    • Potřeba vložek
    • Využití neuronových sítí
  6. Proč je RWKV obzvláště vhodný pro generování streamování?
    • Protože musí vidět celý vstup před jakýmkoli výstupem
    • Protože každý nový token závisí pouze na předchozím stavu pevné velikosti
    • Protože neumí generovat text
    • Protože pro každý token potřebuje cluster GPU
  7. In the guide’s RWKV description, what does the receptance gate control?
    • How many image patches are generated
    • The size of the model vocabulary
    • How much of the accumulated state is read out
    • The amount of GPU memory available
  8. What training property does RWKV retain from Transformers?
    • Full quadratic key-value caching at inference
    • A separate generator and discriminator
    • A fixed top-k token router in every layer
    • Parallelizable training across sequence positions