引導式測驗 · 硬 等級

RWKV 線性注意力測驗

探索 RWKV 的接收閘、時間衰減、鍵/值循環、恆定大小狀態和類似 Transformer 的平行訓練形式。

相關引導路徑Rwkv 線性注意力
問題 1 的 8

RWKV 的主要資產是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. RWKV 的主要資產是什麼?
    • 它像 Transformer 一樣訓練,但像 RNN 一樣運行推理
    • 它只能在影像上進行訓練
    • 它需要二次鍵值緩存
    • 根本無法並行化
  2. RWKV 中的字母代表什麼?
    • 讀、寫、儲存、驗證
    • 接待、重量、鑰匙、價值
    • 循環、寬、內核、向量
    • 隨機、加權、知識、變異
  3. RWKV 如何在生成過程中保持記憶體恆定?
    • 透過刪除模型權重
    • 透過將每個令牌儲存在磁碟上
    • 透過向前傳送一個小的固定大小的隱藏狀態而不是不斷增長的緩存
    • 透過將輸出限制為十個代幣
  4. 時間衰減權重 (W) 扮演什麼角色?
    • 它設定學習率
    • 它計算令牌的數量
    • 它選擇輸出語言
    • 它控制舊資訊失去影響力的速度
  5. 與softmax注意力相比,RWKV的線性注意力循環避免了什麼?
    • 二次全對令牌比較
    • 對鍵和值的任何使用
    • 嵌入的必要性
    • 神經網路的使用
  6. 為什麼 RWKV 特別適合串流生成?
    • 因為它必須在任何輸出之前看到整個輸入
    • 因為每個新令牌僅依賴先前的固定大小狀態
    • 因為它無法生成文本
    • 因為每個 token 都需要一個 GPU 集群
  7. In the guide’s RWKV description, what does the receptance gate control?
    • How many image patches are generated
    • The size of the model vocabulary
    • How much of the accumulated state is read out
    • The amount of GPU memory available
  8. What training property does RWKV retain from Transformers?
    • Full quadratic key-value caching at inference
    • A separate generator and discriminator
    • A fixed top-k token router in every layer
    • Parallelizable training across sequence positions