引导式测验 · 硬 等级

典型抽样测验

检查典型的意外、基于熵的排名、典型_p 质量阈值以及与概率排名前 p 采样的差异。

相关引导路径典型采样
问题 1 的 8

典型抽样将每个候选令牌与什么核心数量进行比较？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 典型抽样将每个候选令牌与什么核心数量进行比较？
    • 分布的预期信息内容（熵）
    • 模型的总体词汇量
    • 标记在句子中的位置
    • 单独温度参数
  2. 典型采样如何处理单个最可能的标记？
    • 它总是首先选择它
    • 如果其惊喜远低于预期值，则可能会排除它
    • 概率加倍
    • 它完全忽略了概率
  3. 典型的采样是由哪种关于人类语言的想法激发的？
    • 人类总是选择最罕见的单词
    • 人类从不重复单词
    • 人类以大致稳定的信息速率进行交流
    • 人类用固定长度的句子说话
  4. 典型采样控制中的tau参数是什么？
    • 训练期间的学习率
    • 模型中的层数
    • 最大句子长度
    • 收集到典型集合中的累积概率质量
  5. 与贪婪解码相比，典型采样试图改变什么？
    • It samples from tokens whose surprisal is closer to the distribution’s expected surprisal
    • It always selects the most probable token
    • It guarantees every continuation is factually correct
    • It removes probability scores from decoding
  6. 开发人员通常会接触到哪种软件的典型采样？
    • 电子表格应用程序
    • 开源 LLM 推理库，例如 Hugging Face Transformers
    • 图像编辑工具
    • 数据库查询引擎
  7. How does typical sampling rank candidate tokens differently from top-p sampling?
    • By alphabetical order of token strings
    • By token position in the prompt
    • By distance between token surprisal and expected surprisal, rather than probability rank alone
    • By the model’s training loss
  8. Which value does typical_p control?
    • The model’s vocabulary size
    • The number of transformer layers
    • The probability that the answer is factually correct
    • The target cumulative probability mass collected in the typical set