ガイド連動クイズ · ハード レベル

RWKV リニア アテンション クイズ

RWKV のレセプタンス ゲート、時間減衰、キー/値の繰り返し、定数サイズの状態、および Transformer のような並列トレーニング フォームを調べてください。

関連するガイドパスRwkv リニア アテンション
質問 1 の 8

RWKV の主要なプロパティは何ですか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. RWKV の主要なプロパティは何ですか?
    • Transformer のようにトレーニングしますが、RNN のように推論を実行します。
    • 画像でのみトレーニングできます
    • 二次キー/値キャッシュが必要です
    • まったく並列化できない
  2. RWKV の文字は何を表していますか?
    • 読み取り、書き込み、保持、検証
    • レセプタンス、ウェイト、キー、バリュー
    • リカレント、ワイド、カーネル、ベクトル
    • ランダム、加重、知識、変動
  3. RWKV は生成中にメモリをどのように一定に保つのでしょうか?
    • モデルの重みを削除することで
    • すべてのトークンをディスクに保存することで
    • 増加するキャッシュの代わりに、小さな固定サイズの非表示状態を転送することによって
    • 出力を 10 トークンに制限することで
  4. 時間減衰重み (W) はどのような役割を果たしますか?
    • 学習率を設定します
    • トークンの数を数えます
    • 出力言語を選択します
    • 古い情報がどれだけ早く影響力を失うかを制御します
  5. ソフトマックス アテンションと比較して、RWKV の線形アテンションの再発は何を回避しますか?
    • 二次形式の全ペアのトークン比較
    • キーと値の使用
    • 埋め込みの必要性
    • ニューラルネットワークの使用
  6. RWKV がストリーミング生成に特に適しているのはなぜですか?
    • 出力の前に入力全体を確認する必要があるため
    • 新しいトークンはそれぞれ以前の固定サイズの状態にのみ依存するため、
    • テキストを生成できないため、
    • トークンごとに GPU クラスターが必要なため
  7. In the guide’s RWKV description, what does the receptance gate control?
    • How many image patches are generated
    • The size of the model vocabulary
    • How much of the accumulated state is read out
    • The amount of GPU memory available
  8. What training property does RWKV retain from Transformers?
    • Full quadratic key-value caching at inference
    • A separate generator and discriminator
    • A fixed top-k token router in every layer
    • Parallelizable training across sequence positions