Útmutatóhoz kapcsolódó kvíz · Kemény Szint
RWKV Lineáris Figyelem Kvíz
Explore RWKV’s receptance gate, time decay, key/value recurrence, constant-size state, and Transformer-like parallel training form.
kérdés 1 -ból 8
Mi az RWKV főcímtulajdonsága?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mi az RWKV főcímtulajdonsága?
- Úgy edz, mint egy transzformátor, de úgy futtatja a következtetést, mint egy RNN
- Csak képeken lehet betanítani
- Másodfokú kulcsérték gyorsítótárat igényel
- Egyáltalán nem lehet párhuzamosítani
- Mit jelentenek az RWKV betűi?
- Olvass, írj, őrizd meg, ellenőrizd
- Fogadás, súly, kulcs, érték
- Ismétlődő, széles, kernel, vektor
- Véletlenszerű, súlyozott, tudás, variáció
- Hogyan tartja állandóan a memóriát az RWKV a generálás során?
- A modell súlyainak törlésével
- Minden tokent lemezen tárolva
- Egy kis fix méretű rejtett állapot továbbvitelével a növekvő gyorsítótár helyett
- A kimenetek tíz tokenre való korlátozásával
- Milyen szerepet játszik az idő-bomlás súlya (W)?
- Ez határozza meg a tanulási sebességet
- Számolja a tokenek számát
- Kiválasztja a kimeneti nyelvet
- Azt szabályozza, hogy a régebbi információk milyen gyorsan veszítik el hatásukat
- A softmax figyelemhez képest mit kerülhet el az RWKV lineáris figyelem megismétlődése?
- A négyzetes minden pár token összehasonlítása
- Kulcsok és értékek bármilyen használata
- A beágyazások szükségessége
- Neurális hálózatok használata
- Miért alkalmas az RWKV különösen a streaming generálására?
- Mert látnia kell a teljes bemenetet minden kimenet előtt
- Mivel minden új token csak az előző rögzített méretű állapottól függ
- Mert nem tud szöveget generálni
- Mert minden tokenhez szüksége van egy GPU-fürtre
- In the guide’s RWKV description, what does the receptance gate control?
- How many image patches are generated
- The size of the model vocabulary
- How much of the accumulated state is read out
- The amount of GPU memory available
- What training property does RWKV retain from Transformers?
- Full quadratic key-value caching at inference
- A separate generator and discriminator
- A fixed top-k token router in every layer
- Parallelizable training across sequence positions