ガイド連動クイズ · 中 レベル

プレフィックスチューニングクイズ

プレフィックス調整の凍結バックボーン アプローチ、タスクごとのパラメーターの節約、アテンション レイヤの配置、および自然言語生成タスクの結果を評価します。

関連するガイドパスプレフィックスチューニング
質問 1 の 8

プレフィックス チューニングは実際に何をトレーニングしますか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. プレフィックス チューニングは実際に何をトレーニングしますか?
    • モデルのすべてのトランスの重量
    • モデルの出力語彙層のみ
    • タスクごとにモデルの個別のコピー
    • モデルがフリーズしたままの、連続したプレフィックス ベクトルの小さなセット
  2. プレフィックス ベクトルはどこに注入されますか?
    • すべての注目層のキーと値に
    • 最終出力層のみ
    • 損失関数のみに
    • 埋め込む前にトークナイザーに
  3. プレフィックス チューニングを導入したのは誰で、おおよそいつですか?
    • OpenAI (2018 年)
    • リーとリャン、2021年スタンフォード大学
    • Google (2015 年)
    • Meta 2023 年
  4. 多くのタスクを処理する場合、プレフィックス調整が魅力的なのはなぜですか?
    • トレーニングデータはまったく必要ありません
    • ハードウェアなしで推論を実行できるようになります
    • 各タスクには、完全なモデルのコピーではなく、小さなプレフィックスのみが必要です
    • すべてのタスクの基本モデルを一度に永続的に書き換えます
  5. プレフィックストレーニングを安定させるためによく使用されるトリックは何ですか?
    • ステップごとに学習率が 2 倍になります
    • プレフィックスの凍結とモデルのトレーニング
    • すべてのアテンションレイヤーを削除する
    • 後で破棄される小さなフィードフォワード ネットワークを介してプレフィックスを再パラメータ化する
  6. プレフィックスチューニングはどのようなタスクで特に威力を発揮しましたか?
    • 表からテキストへの変換や要約などの自然言語生成
    • 画像分類
    • 音声波形合成
    • データベースのインデックス作成
  7. What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
    • About 10%
    • About 0.1%
    • 約50%
    • All model parameters
  8. How did prefix-tuning perform in the paper’s low-data settings?
    • It always matched full fine-tuning on every task
    • It could not train with limited examples
    • It outperformed full fine-tuning in some evaluated low-data cases
    • It changed every backbone parameter