ガイド連動クイズ · 中 レベル

知識蒸留クイズ

模倣が教師レベルの精度を保証しない理由を含め、教師の分布、緩和された目標、生徒の評価を蒸留に適用します。

関連するガイドパス知識の蒸留
質問 1 の 8

知識の蒸留において、学生モデルは何を行うように訓練されていますか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. 知識の蒸留において、学生モデルは何を行うように訓練されていますか?
    • 大規模な教師モデルを模倣するように小規模な生徒モデルをトレーニングするには
    • モデルをより大きく、より正確にするには
    • データに自動的にラベルを付けるには
    • モデルの重みを暗号化するには
  2. 先生の「闇の知識」とは何を意味するのでしょうか？
    • モデルに隠された悪意のある動作
    • モデルファイルの暗号化された部分
    • 教師が間違ったクラスに割り当てる相対確率の情報
    • 教師がトレーニングを受けていないデータ
  3. 蒸留において温度 (T) はどのような役割を果たしますか?
    • モデルのトレーニング速度のみを制御します
    • ソフトマックスを柔らかくするので、クラス間の小さな類似性が学習可能になります
    • 生徒のレイヤーの数を設定します
    • GPUの発熱量を測定します
  4. 古典的な蒸留損失は、どの 2 つの成分を組み合わせたものですか?
    • 2 つの別々の報酬モデル
    • 平均二乗誤差とヒンジ損失
    • 参照ポリシーおよび値関数に対する KL ペナルティ
    • 教師のソフト出力と真のラベルのクロスエントロピーに一致する KL ダイバージェンス項
  5. 抽出された言語モデルの例はどれですか?
    • レスネット-50
    • Word2Vec
    • 蒸留BERT
    • アレックスネット
  6. 特徴ベースの蒸留は、従来の出力ベースのアプローチとどう違うのでしょうか?
    • 最終出力だけでなく、中間の隠れ層表現と一致します。
    • 先生のことは完全に無視してる
    • ハードラベルのみを使用します
    • 生徒の代わりに教師を訓練します
  7. A teacher assigns similar small probabilities to wolf and fox when predicting dog. What can soft-target distillation transfer beyond the top label?
    • A guarantee that either alternative is the correct label
    • The teacher’s complete original training corpus
    • The teacher’s exact number of hidden layers
    • Relative relationships among the teacher’s alternative class scores
  8. A distilled student is smaller than its teacher. Which evaluation is needed before deployment?
    • Assume its accuracy must equal the teacher’s
    • Measure its task accuracy and runtime on the intended system
    • Assume fewer parameters guarantee lower latency on every device
    • Only compare the models’ names