ガイド連動クイズ · 中 レベル

エンコーダ/デコーダ アーキテクチャに関するクイズ

エンコーダー/デコーダー モデルのコンポーネント、ソースからターゲットへの注意、翻訳および言語タスクでのテキストからテキストへの使用を確認します。

関連するガイドパスエンコーダ デコーダ アーキテクチャ
質問 1 の 8

エンコーダ/デコーダ モデルにおけるエンコーダの主な仕事は何ですか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. エンコーダ/デコーダ モデルにおけるエンコーダの主な仕事は何ですか?
    • 入力を読み取り、それを豊富な内部表現に変換する
    • 一度に 1 トークンずつ出力を生成するには
    • 候補出力を確率でランク付けするには
    • モデルのトレーニング データを保存するには
  2. なぜデコーダはマスクされた (因果的な) 自己注意を使用するのでしょうか?
    • エンコーダーからの入力を非表示にするには
    • 各ポジションが生成中に将来のトークンを参照できないようにするため
    • 出力をより少ないトークンに圧縮するには
    • 正規化のためにトークンをランダムにドロップするには
  3. デコーダとエンコーダの表現を接続するメカニズムは何ですか?
    • ドロップアウト
    • バッチ正規化
    • クロスアテンション
    • 位置エンコーディング
  4. 次のモデルのうち、エンコーダ/デコーダ (シーケンスツーシーケンス) アーキテクチャはどれですか?
    • GPT-3
    • バート
    • Word2Vec
    • T5
  5. エンコーダとデコーダの設計が翻訳に自然に適合するのはなぜですか?
    • 入力と出力が異なるシーケンスであるため、完全に理解してから新たに生成する必要がある
    • 入力と出力は常に同じ長さであるため、
    • 新しいテキストを生成する必要がないため
    • 注意を使うことを完全に避けるからです
  6. In the original Transformer architecture, what attention does the encoder use over its input sequence?
    • Causal attention that hides all earlier source tokens
    • Bidirectional self-attention over the full source sequence
    • Cross-attention only to an image sequence
    • No attention mechanism
  7. What training objective does BART use for pretraining?
    • It predicts only the next pixel in an image
    • It classifies each word into a fixed sentiment label
    • It corrupts text and trains a sequence-to-sequence denoising model to reconstruct the original
    • It performs speech recognition from raw audio
  8. How does T5 frame many NLP tasks for one encoder-decoder model?
    • As image classification with a shared label set
    • As speech waveforms with no text tokens
    • As separate model architectures for each task
    • As text-to-text inputs and outputs with task descriptions in the input text