引导式测验 · 硬 等级

XLNet 排列建模测验

检查排列因式分解、双流注意力、Transformer-XL 重现，以及基准声明如何依赖于可比设置。

相关引导路径Xlnet 排列建模
问题 1 的 8

XLNet 使用什么预训练目标？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. XLNet 使用什么预训练目标？
    • 排列语言建模
    • 掩码语言建模
    • 替换令牌检测
    • 下一句话预测
  2. XLNet 是专门为了解决哪些 BERT 弱点而设计的？
    • BERT 太小了
    • [MASK] 令牌导致预训练/微调不匹配，并假定屏蔽令牌独立
    • BERT 无法处理短句子
    • BERT 缺乏位置编码
  3. XLNet的两流self-attention分离了什么？
    • 编码器和解码器层
    • 训练和推理图
    • 内容流和查询流
    • 标记和句子嵌入
  4. XLNet 是否会物理地打乱句子中的单词？
    • 是的，它随机地重新排序实际的令牌
    • 是的，但仅限于微调期间
    • 不，它根本不会改变任何顺序
    • 不，它使用注意掩模排列因式分解顺序，同时保持位置
  5. 哪种架构作为 XLNet 的远程上下文骨干网？
    • 变形金刚-XL
    • 长短期记忆网络
    • 原版香草变压器
    • 卷积网络
  6. How does XLNet combine bidirectional context with autoregressive prediction?
    • It predicts all tokens independently with no attention mask
    • It predicts in sampled factorization orders without inserting a [MASK] input token, using attention masks
    • It physically shuffles the sentence before every prediction
    • It replaces autoregressive prediction with a denoising autoencoder
  7. For a token sequence A B C, suppose a sampled factorization order predicts C before A and B. What context is available when predicting C?
    • The tokens A and B must always be provided first
    • Only the next sentence is available
    • No earlier tokens in that sampled order, although C remains at its original input position
    • The input sequence is physically reordered to C A B
  8. How does XLNet prevent the target token from leaking into its own prediction query?
    • It removes the target from the entire training sequence
    • It uses the target’s label as an input embedding
    • It replaces the token with a [MASK] symbol
    • The query stream represents the target position without its token content