引導式測驗 · 中等 等級

知識蒸餾測驗

在蒸餾中應用教師分佈、軟化目標和學生評估,包括為什麼模仿不能保證教師水平的準確性。

相關引導路徑知識蒸餾
問題 1 的 8

在知识蒸馏中,训练的学生模型是做什么的?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 在知识蒸馏中,训练的学生模型是做什么的?
    • 訓練小型學生模式來模仿大型教師模型
    • 使模型更大、更準確
    • 自動標記數據
    • 加密模型的權重
  2. 老師的「暗知識」是什麼意思?
    • 模型中隱藏的惡意行為
    • 模型檔案的加密部分
    • 教師分配給錯誤班級的相對機率訊息
    • 教師從未接受過培訓的數據
  3. 溫度 (T) 在蒸餾中扮演什麼角色?
    • 它僅控制模型的訓練速度
    • 它軟化了 softmax,因此小的類間相似性變得可以學習
    • 它設定學生的層數
    • 它測量 GPU 的熱量輸出
  4. 經典的蒸餾損失結合了哪兩個組成部分?
    • 兩種獨立的獎勵模型
    • 均方誤差和鉸鏈損失
    • 針對參考策略和價值函數的 KL 懲罰
    • 與教師的軟輸出以及真實標籤上的交叉熵相符的 KL 散度項
  5. 哪一個是蒸餾語言模型的範例?
    • ResNet-50
    • 詞向量
    • 蒸餾伯特
    • 亞歷克斯網
  6. 基於特徵的蒸餾與經典的基於輸出的方法有何不同?
    • 它匹配中間隱藏層表示,而不僅僅是最終輸出
    • 完全無視老師
    • 它只使用硬標籤
    • 它訓練的是老師而不是學生
  7. A teacher assigns similar small probabilities to wolf and fox when predicting dog. What can soft-target distillation transfer beyond the top label?
    • A guarantee that either alternative is the correct label
    • The teacher’s complete original training corpus
    • The teacher’s exact number of hidden layers
    • Relative relationships among the teacher’s alternative class scores
  8. A distilled student is smaller than its teacher. Which evaluation is needed before deployment?
    • Assume its accuracy must equal the teacher’s
    • Measure its task accuracy and runtime on the intended system
    • Assume fewer parameters guarantee lower latency on every device
    • Only compare the models’ names