引导式测验 · 中等 等级
基于熵的抽样测验
区分下一个标记熵和真实置信度，解释熵和变熵，并检查自适应解码启发式的限制。
问题 1 的 8
在感知熵的解码器中，下一个词元的熵衡量什么？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- 在感知熵的解码器中，下一个词元的熵衡量什么？
- 模型下一个可能的标记的概率分布如何
- 模型的事实主张是否真实
- 模型中参数的数量
- 已生成的代币总数
- 低熵下一个令牌分布最直接地表明：
- 预测的答案保证是真实的
- 概率集中在一小部分标记上
- 该模型对整个对话没有不确定性
- 词汇表中的每个标记都有相同的可能性
- 下一个标记分布的香农熵计算如下：
- 对数总和
- 最大概率减去最小概率
- -sum p_i 通过令牌记录 p_i
- 词汇表中标记的数量
- 在某些感知熵的解码方案中，方差熵衡量什么？
- 模型参数计数的方差
- 下一句话的事实准确性
- 训练纪元数
- 分布下代币级别的意外值的变化
- 当感知熵的系统看到高熵的下一个词元分布时，它可以合理得出什么结论？
- 分布更加分散，可能值得采用特定于任务的解码策略
- 模型肯定是产生幻觉了
- 概率最高的 token 为 false
- 必须立即停止输出
- 使用熵来指导生成的实际局限性是什么？
- 熵不能从概率计算
- 选择的熵策略本身并不能保证更少的事实错误
- 熵消除了对模型权重的需要
- 熵迫使所有标记具有相同的概率
- 低熵的模型答案与用户的错误声明一致。熵值确立了什么？
- 该声明已被独立核实
- 其他所有候选项都是不可能的
- 仅表示模型的下一个词元分布较为集中，而非该说法为真
- 答案来自可靠来源
- 团队应如何为基于熵触发的检索策略选择阈值？
- 假设一个阈值适用于所有模型和上下文
- 根据模型名称选择阈值
- 将每个高熵词元都视为已证实的错误
- 在代表性任务上评估该策略，并衡量检索是否改善了结果