引導式測驗 · 硬 等級
RWKV 線性注意力測驗
探索 RWKV 的接收閘、時間衰減、鍵/值循環、恆定大小狀態和類似 Transformer 的平行訓練形式。
問題 1 的 8
RWKV 的主要資產是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- RWKV 的主要資產是什麼?
- 它像 Transformer 一樣訓練,但像 RNN 一樣運行推理
- 它只能在影像上進行訓練
- 它需要二次鍵值緩存
- 根本無法並行化
- RWKV 中的字母代表什麼?
- 讀、寫、儲存、驗證
- 接待、重量、鑰匙、價值
- 循環、寬、內核、向量
- 隨機、加權、知識、變異
- RWKV 如何在生成過程中保持記憶體恆定?
- 透過刪除模型權重
- 透過將每個令牌儲存在磁碟上
- 透過向前傳送一個小的固定大小的隱藏狀態而不是不斷增長的緩存
- 透過將輸出限制為十個代幣
- 時間衰減權重 (W) 扮演什麼角色?
- 它設定學習率
- 它計算令牌的數量
- 它選擇輸出語言
- 它控制舊資訊失去影響力的速度
- 與softmax注意力相比,RWKV的線性注意力循環避免了什麼?
- 二次全對令牌比較
- 對鍵和值的任何使用
- 嵌入的必要性
- 神經網路的使用
- 為什麼 RWKV 特別適合串流生成?
- 因為它必須在任何輸出之前看到整個輸入
- 因為每個新令牌僅依賴先前的固定大小狀態
- 因為它無法生成文本
- 因為每個 token 都需要一個 GPU 集群
- In the guide’s RWKV description, what does the receptance gate control?
- How many image patches are generated
- The size of the model vocabulary
- How much of the accumulated state is read out
- The amount of GPU memory available
- What training property does RWKV retain from Transformers?
- Full quadratic key-value caching at inference
- A separate generator and discriminator
- A fixed top-k token router in every layer
- Parallelizable training across sequence positions