引导式测验 · 中等 等级

Logit 偏差测验

查看令牌 ID logit 偏差如何改变采样、其子词限制以及为什么令牌级别控制会影响比预期更多的文本。

相关引导路径逻辑偏差
问题 1 的 8

Logit 偏差会改变什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. Logit 偏差会改变什么？
    • 采样前特定token的得分（logit）
    • 模型的训练权重永久不变
    • 全程提示温度
    • 上下文窗口中的标记数量
  2. 在许多 API 中，令牌上的 logit 偏差为 -100 可以实现什么效果？
    • 使令牌的可能性增加 100 倍
    • 有效禁止生成token
    • 从词汇表中永久删除该标记
    • 模型速度加倍
  3. 记录的 OpenAI 聊天完成 logit_bias 接受什么数字范围的令牌？
    • From 0 to 1 only
    • From -1 to 1 only
    • From -100 to 100
    • Any string value
  4. Logit 偏差与什么标识符有关？
    • 纯文本单词
    • 句子的位置
    • 模特的名字
    • 数字令牌 ID
  5. 因为 logits 是通过 softmax 传递的，所以添加正偏差会产生什么效果？
    • 它在标准化之前以指数方式提高代币的相对权重
    • 它线性地增加了一个固定的概率
    • 训练之前没有效果
    • 它将令牌从考虑中删除
  6. 与微调相比，logit 偏差的一个关键优势是：
    • 永久提高模型的知识
    • 无需再培训并根据要求适用
    • 增加上下文窗口大小
    • 仅适用于图像
  7. Why should a developer inspect the tokenizer before applying a bias to a visible word?
    • Token IDs are assigned only after sampling
    • Visible words always equal one token
    • The word may be represented by several token IDs, so biasing one ID may not cover all forms
    • The tokenizer controls the model’s training data
  8. What is a practical risk of applying a strong positive bias to one token?
    • It increases the context window
    • It changes the model weights permanently
    • It guarantees the token appears exactly once
    • It can distort generation or produce repetitive, awkward text