引導式測驗 · 中等 等級
知識蒸餾測驗
在蒸餾中應用教師分佈、軟化目標和學生評估,包括為什麼模仿不能保證教師水平的準確性。
問題 1 的 8
在知识蒸馏中,训练的学生模型是做什么的?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 在知识蒸馏中,训练的学生模型是做什么的?
- 訓練小型學生模式來模仿大型教師模型
- 使模型更大、更準確
- 自動標記數據
- 加密模型的權重
- 老師的「暗知識」是什麼意思?
- 模型中隱藏的惡意行為
- 模型檔案的加密部分
- 教師分配給錯誤班級的相對機率訊息
- 教師從未接受過培訓的數據
- 溫度 (T) 在蒸餾中扮演什麼角色?
- 它僅控制模型的訓練速度
- 它軟化了 softmax,因此小的類間相似性變得可以學習
- 它設定學生的層數
- 它測量 GPU 的熱量輸出
- 經典的蒸餾損失結合了哪兩個組成部分?
- 兩種獨立的獎勵模型
- 均方誤差和鉸鏈損失
- 針對參考策略和價值函數的 KL 懲罰
- 與教師的軟輸出以及真實標籤上的交叉熵相符的 KL 散度項
- 哪一個是蒸餾語言模型的範例?
- ResNet-50
- 詞向量
- 蒸餾伯特
- 亞歷克斯網
- 基於特徵的蒸餾與經典的基於輸出的方法有何不同?
- 它匹配中間隱藏層表示,而不僅僅是最終輸出
- 完全無視老師
- 它只使用硬標籤
- 它訓練的是老師而不是學生
- A teacher assigns similar small probabilities to wolf and fox when predicting dog. What can soft-target distillation transfer beyond the top label?
- A guarantee that either alternative is the correct label
- The teacher’s complete original training corpus
- The teacher’s exact number of hidden layers
- Relative relationships among the teacher’s alternative class scores
- A distilled student is smaller than its teacher. Which evaluation is needed before deployment?
- Assume its accuracy must equal the teacher’s
- Measure its task accuracy and runtime on the intended system
- Assume fewer parameters guarantee lower latency on every device
- Only compare the models’ names