Kvíz spojený s průvodcem · Těžko úroveň
RWKV kvíz s lineární pozorností
Prozkoumejte bránu příjmu RWKV, časový pokles, opakování klíč/hodnota, stav konstantní velikosti a paralelní tréninkovou formu podobnou transformátoru.
Otázka 1 z 8
Jaká je vlastnost titulku RWKV?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaká je vlastnost titulku RWKV?
- Trénuje jako Transformer, ale funguje jako RNN
- Dá se trénovat pouze na obrázcích
- Vyžaduje mezipaměť kvadratického klíče a hodnoty
- Nejde to vůbec paralelizovat
- Co znamenají písmena v RWKV?
- Číst, psát, uchovávat, ověřovat
- Příjem, váha, klíč, hodnota
- Opakující se, Široký, Jádro, Vektor
- Náhodné, vážené, znalosti, variace
- Jak RWKV udržuje konstantní paměť během generování?
- Smazáním modelových závaží
- Uložením každého tokenu na disk
- Přenesením malého skrytého stavu s pevnou velikostí vpřed namísto rostoucí mezipaměti
- Omezením výstupů na deset tokenů
- Jakou roli hraje váha rozpadu v čase (W)?
- Nastavuje rychlost učení
- Počítá počet žetonů
- Vybere výstupní jazyk
- Řídí, jak rychle starší informace ztrácejí vliv
- Čemu se ve srovnání s pozorností softmax vyhýbá opakování lineární pozornosti RWKV?
- Kvadratické porovnání tokenů všech párů
- Jakékoli použití klíčů a hodnot
- Potřeba vložek
- Využití neuronových sítí
- Proč je RWKV obzvláště vhodný pro generování streamování?
- Protože musí vidět celý vstup před jakýmkoli výstupem
- Protože každý nový token závisí pouze na předchozím stavu pevné velikosti
- Protože neumí generovat text
- Protože pro každý token potřebuje cluster GPU
- In the guide’s RWKV description, what does the receptance gate control?
- How many image patches are generated
- The size of the model vocabulary
- How much of the accumulated state is read out
- The amount of GPU memory available
- What training property does RWKV retain from Transformers?
- Full quadratic key-value caching at inference
- A separate generator and discriminator
- A fixed top-k token router in every layer
- Parallelizable training across sequence positions