転送用アダプター層に関するクイズ

クイズに答えると、答えと解説が表示されます。

1. アダプターを使用してトレーニングすると、元の事前トレーニングされたウェイトはどうなりますか?
   • アダプターパラメーターのみがトレーニングされている間、それらはフリーズされます。
   • 削除されます
   • ランダムに再初期化されます
   • サイズは2倍です
2. ボトルネック アダプターの一般的な内部構造は何ですか?
   • 単一の巨大な高密度層
   • 下方投影、非線形性、その後上方投影、残留接続あり
   • 注目の頭だけ
   • 畳み込み画像フィルター
3. アダプターは通常、パラメーターのどの部分をトレーニングしますか?
   • 100%
   • ちょうど 50%
   • 多くの場合 5% 未満
   • まったくなし
4. アダプターはなぜ多くのタスクを実行するのに便利なのでしょうか?
   • タスクごとに個別の完全なモデルのコピーが必要です
   • 組み合わせることはできません
   • 各タスクの後にベースモデルを消去します
   • 1 つの基本モデルを保持し、タスクごとの小さなアダプターを交換します。
5. アダプターはどのテクニックファミリーに属しますか?
   • パラメータ効率の高い微調整 (PEFT)
   • データの増強
   • 画像圧縮
   • トークン化スキーム
6. LoRA は、推論時に従来の挿入アダプターに比べてどのような利点を提供しますか?
   • それは鍛えられないよ
   • 学習した重みをベース行列にマージして、レイヤーごとの余分なレイテンシを回避できます。
   • モデル全体を再トレーニングする必要があります
   • 残留接続を完全に削除します
7. What does a residual connection contribute to a classic bottleneck adapter?
   • A second full pretrained model copy for each task
   • A mandatory external retrieval database
   • A path that adds the adapter’s transformed representation back to the original hidden state
   • A guarantee that no added computation occurs
8. What is one benefit of stacking a domain adapter with a task adapter?
   • Merge all user data into the frozen base weights automatically
   • Avoid using any adapter modules
   • Convert a language model into a vision encoder
   • Reuse a domain specialization together with a separate task specialization