XLNet 順列モデリング クイズ

クイズに答えると、答えと解説が表示されます。

1. XLNet はどのような事前トレーニング目標を使用しますか?
   • 順列言語モデリング
   • マスクされた言語モデリング
   • 置き換えられたトークンの検出
   • 次の文の予測
2. XLNet は特に対処するために設計された BERT のどの弱点ですか?
   • BERT は小さすぎました
   • [MASK] トークンは事前学習/微調整の不一致を引き起こし、マスクされたトークンの独立性を前提とします。
   • BERT は短い文を処理できませんでした
   • BERT には位置エンコーディングがありませんでした
3. XLNet の 2 つのストリームの自己注意は何を分離するのでしょうか?
   • エンコーダー層とデコーダー層
   • トレーニングおよび推論グラフ
   • コンテンツ ストリームとクエリ ストリーム
   • トークンと文の埋め込み
4. XLNet は文内の単語を物理的にシャッフルしますか?
   • はい、実際のトークンをランダムに並べ替えます
   • はい、ただし微調整中のみ
   • いいえ、順序がまったく変更されることはありません
   • いいえ、位置を維持しながらアテンション マスクを使用して因数分解の順序を並べ替えます。
5. どのアーキテクチャが長距離コンテキストの XLNet のバックボーンとして機能しますか?
   • トランスフォーマーXL
   • LSTM
   • オリジナルバニラトランスフォーマー
   • 畳み込みネットワーク
6. How does XLNet combine bidirectional context with autoregressive prediction?
   • It predicts all tokens independently with no attention mask
   • It predicts in sampled factorization orders without inserting a [MASK] input token, using attention masks
   • It physically shuffles the sentence before every prediction
   • It replaces autoregressive prediction with a denoising autoencoder
7. For a token sequence A B C, suppose a sampled factorization order predicts C before A and B. What context is available when predicting C?
   • The tokens A and B must always be provided first
   • Only the next sentence is available
   • No earlier tokens in that sampled order, although C remains at its original input position
   • The input sequence is physically reordered to C A B
8. How does XLNet prevent the target token from leaking into its own prediction query?
   • It removes the target from the entire training sequence
   • It uses the target’s label as an input embedding
   • It replaces the token with a [MASK] symbol
   • The query stream represents the target position without its token content