引导式测验 · 硬 等级

RWKV 线性注意力测验

探索 RWKV 的接收门、时间衰减、键/值循环、恒定大小状态和类似 Transformer 的并行训练形式。

相关引导路径Rwkv 线性注意力
问题 1 的 8

RWKV 的主要资产是什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. RWKV 的主要资产是什么？
    • 它像 Transformer 一样训练，但像 RNN 一样运行推理
    • 它只能在图像上进行训练
    • 它需要二次键值缓存
    • 根本无法并行化
  2. RWKV 中的字母代表什么？
    • 读、写、保存、验证
    • 接待、重量、钥匙、价值
    • 循环、宽、内核、向量
    • 随机、加权、知识、变异
  3. RWKV 如何在生成过程中保持内存恒定？
    • 通过删除模型权重
    • 通过将每个令牌存储在磁盘上
    • 通过向前传送一个小的固定大小的隐藏状态而不是不断增长的缓存
    • 通过将输出限制为十个代币
  4. 时间衰减权重 (W) 起什么作用？
    • 它设置学习率
    • 它计算令牌的数量
    • 它选择输出语言
    • 它控制旧信息失去影响力的速度
  5. 与softmax注意力相比，RWKV的线性注意力循环避免了什么？
    • 二次全对令牌比较
    • 对键和值的任何使用
    • 嵌入的必要性
    • 神经网络的使用
  6. 为什么 RWKV 特别适合流式生成？
    • 因为它必须在任何输出之前看到整个输入
    • 因为每个新令牌仅依赖于之前的固定大小状态
    • 因为它无法生成文本
    • 因为每个 token 都需要一个 GPU 集群
  7. In the guide’s RWKV description, what does the receptance gate control?
    • How many image patches are generated
    • The size of the model vocabulary
    • How much of the accumulated state is read out
    • The amount of GPU memory available
  8. What training property does RWKV retain from Transformers?
    • Full quadratic key-value caching at inference
    • A separate generator and discriminator
    • A fixed top-k token router in every layer
    • Parallelizable training across sequence positions