Útmutatóhoz kapcsolódó kvíz · Kemény Szint

RWKV Lineáris Figyelem Kvíz

Explore RWKV’s receptance gate, time decay, key/value recurrence, constant-size state, and Transformer-like parallel training form.

Kapcsolódó útmutató utakRwkv Lineáris Figyelem
kérdés 1 -ból 8

Mi az RWKV főcímtulajdonsága?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi az RWKV főcímtulajdonsága?
    • Úgy edz, mint egy transzformátor, de úgy futtatja a következtetést, mint egy RNN
    • Csak képeken lehet betanítani
    • Másodfokú kulcsérték gyorsítótárat igényel
    • Egyáltalán nem lehet párhuzamosítani
  2. Mit jelentenek az RWKV betűi?
    • Olvass, írj, őrizd meg, ellenőrizd
    • Fogadás, súly, kulcs, érték
    • Ismétlődő, széles, kernel, vektor
    • Véletlenszerű, súlyozott, tudás, variáció
  3. Hogyan tartja állandóan a memóriát az RWKV a generálás során?
    • A modell súlyainak törlésével
    • Minden tokent lemezen tárolva
    • Egy kis fix méretű rejtett állapot továbbvitelével a növekvő gyorsítótár helyett
    • A kimenetek tíz tokenre való korlátozásával
  4. Milyen szerepet játszik az idő-bomlás súlya (W)?
    • Ez határozza meg a tanulási sebességet
    • Számolja a tokenek számát
    • Kiválasztja a kimeneti nyelvet
    • Azt szabályozza, hogy a régebbi információk milyen gyorsan veszítik el hatásukat
  5. A softmax figyelemhez képest mit kerülhet el az RWKV lineáris figyelem megismétlődése?
    • A négyzetes minden pár token összehasonlítása
    • Kulcsok és értékek bármilyen használata
    • A beágyazások szükségessége
    • Neurális hálózatok használata
  6. Miért alkalmas az RWKV különösen a streaming generálására?
    • Mert látnia kell a teljes bemenetet minden kimenet előtt
    • Mivel minden új token csak az előző rögzített méretű állapottól függ
    • Mert nem tud szöveget generálni
    • Mert minden tokenhez szüksége van egy GPU-fürtre
  7. In the guide’s RWKV description, what does the receptance gate control?
    • How many image patches are generated
    • The size of the model vocabulary
    • How much of the accumulated state is read out
    • The amount of GPU memory available
  8. What training property does RWKV retain from Transformers?
    • Full quadratic key-value caching at inference
    • A separate generator and discriminator
    • A fixed top-k token router in every layer
    • Parallelizable training across sequence positions