引导式测验 · 中等 等级

下一个令牌预测测验

回顾自回归语言模型训练、因果上下文、教师强制以及训练和生成之间的差异。

相关引导路径下一个代币预测
问题 1 的 8

下一个令牌预测模型在每一步输出什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 下一个令牌预测模型在每一步输出什么？
    • 下一个标记的词汇表的概率分布
    • 单个固定词
    • 这句话的翻译
    • 语法分数
  2. GPT 风格的解码器使用哪种类型的注意力？
    • 双向注意力
    • 隐藏未来代币的因果（掩盖）注意力
    • 完全没有关注
    • 随机关注
  3. 这里的“自回归”一代是什么意思？
    • 该模型一次生成所有令牌
    • 模型回归到平均值
    • 每个新令牌都会被附加并反馈以预测下一个
    • 令牌按随机顺序生成
  4. 在训练过程中通常最小化什么损失函数？
    • 均方误差
    • 铰链损失
    • 余弦距离
    • 下一个标记的交叉熵
  5. 采样时升高温度有什么作用？
    • 使输出更加随机和富有创意
    • 使输出严格确定
    • 增加词汇量
    • 删除softmax层
  6. 在预测之前，原始文本通常是如何准备的？
    • 它被翻译成英文
    • 它被分词器分割成标记
    • 它被转换为音频
    • 它作为原始字符保留，不进行任何处理
  7. During next-token training, what is teacher forcing?
    • The model receives future target tokens before the input
    • The model randomly changes the tokenizer at every step
    • The model receives the ground-truth preceding tokens when predicting the next token
    • The model always samples its own previous prediction during training
  8. What mismatch can arise because generation feeds back model-produced tokens?
    • The model can no longer use attention
    • The vocabulary disappears after the first token
    • The model’s loss is computed only on images
    • Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix