Mit dem Guide verknüpftes Quiz · Schwer Ebene

RWKV Lineares Aufmerksamkeitsquiz

Entdecken Sie das Empfangstor, den Zeitverfall, die Schlüssel-/Wertwiederholung, den Zustand mit konstanter Größe und die transformatorähnliche parallele Trainingsform von RWKV.

Verwandte FührungspfadeRwkv Lineare Aufmerksamkeit
Frage 1 von 8

Was ist die Haupteigenschaft von RWKV?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Was ist die Haupteigenschaft von RWKV?
    • Es trainiert wie ein Transformer, führt aber Inferenzen wie ein RNN aus
    • Es kann nur auf Bildern trainiert werden
    • Es erfordert einen quadratischen Schlüsselwert-Cache
    • Es kann überhaupt nicht parallelisiert werden
  2. Wofür stehen die Buchstaben in RWKV?
    • Lesen, schreiben, behalten, überprüfen
    • Rezeption, Gewicht, Schlüssel, Wert
    • Wiederkehrend, breit, Kernel, Vektor
    • Zufällig, gewichtet, Wissen, Variation
  3. Wie hält RWKV den Speicher während der Generierung konstant?
    • Durch Löschen der Modellgewichte
    • Indem jedes Token auf der Festplatte gespeichert wird
    • Durch die Weiterleitung eines kleinen versteckten Zustands fester Größe anstelle eines wachsenden Caches
    • Durch die Begrenzung der Ausgaben auf zehn Token
  4. Welche Rolle spielt das Zeitzerfallsgewicht (W)?
    • Es legt die Lernrate fest
    • Es zählt die Anzahl der Token
    • Es wählt die Ausgabesprache aus
    • Es steuert, wie schnell ältere Informationen an Einfluss verlieren
  5. Was vermeidet die lineare Aufmerksamkeitswiederholung von RWKV im Vergleich zur Softmax-Aufmerksamkeit?
    • Der quadratische Token-Vergleich aller Paare
    • Jede Verwendung von Schlüsseln und Werten
    • Die Notwendigkeit von Einbettungen
    • Der Einsatz neuronaler Netze
  6. Warum eignet sich RWKV besonders gut für die Streaming-Generierung?
    • Weil es vor jeder Ausgabe die gesamte Eingabe sehen muss
    • Weil jedes neue Token nur vom vorherigen Status mit fester Größe abhängt
    • Weil es keinen Text generieren kann
    • Weil es für jedes Token einen GPU-Cluster benötigt
  7. In the guide’s RWKV description, what does the receptance gate control?
    • How many image patches are generated
    • The size of the model vocabulary
    • How much of the accumulated state is read out
    • The amount of GPU memory available
  8. What training property does RWKV retain from Transformers?
    • Full quadratic key-value caching at inference
    • A separate generator and discriminator
    • A fixed top-k token router in every layer
    • Parallelizable training across sequence positions