引導式測驗 · 中等 等級
結構化修剪和層丟棄測驗
檢查為什麼結構化修剪可以加速推理、如何估計層重要性以及微調或蒸餾如何恢復品質。
問題 1 的 8
為什麼結構化剪枝能夠產生真正的加速,而非結構化剪枝卻常常不能?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 為什麼結構化剪枝能夠產生真正的加速,而非結構化剪枝卻常常不能?
- 結構化剪枝刪除了實際上收縮張量的相干塊
- 非結構化剪枝增加了模型大小
- 結構化修剪增加了更多層
- 非結構化剪枝僅適用於 CPU
- 在 Transformer 中什麼是「層丟棄」?
- 降低每層的學習率
- 刪除整個變壓器塊以減少模型深度
- 為每一層新增 dropout
- 隨機地重新排序圖層
- 哪一個訊號通常表示變壓器層可以安全掉落?
- 此層參數最多
- 該層是網路中的第一層
- 此層的輸入和輸出隱藏狀態非常相似
- 此層使用記憶體最多
- 結構化剪枝後通常什麼步驟可以恢復準確性?
- 僅增加批量大小
- 重新量化為 16 位
- 添加更多關注頭
- 一輪簡短的微調或知識蒸餾
- 修剪時個人注意力頭通常如何排名?
- 由於磁頭被遮蔽時損耗增加(靈敏度)
- 按字母順序
- 根據他們在詞彙中的位置
- 根據他們看到的代幣數量
- 結構化剪枝與蒸餾相結合的主要實際用途是什麼?
- 自動產生訓練數據
- 從一個大型檢查點衍生出一系列較小、較快的模型
- 加密模型權重
- 增加上下文視窗長度
- Why can a smaller student recover some function of a pruned model during distillation?
- It restores the deleted weights in place
- It changes the test labels
- It is trained to match useful outputs or behavior of the larger teacher
- It removes the need for validation
- If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
- The layer is guaranteed to be useless for every task
- The model must add another layer
- The output has no features
- The layer changed the representation relatively little and may be a candidate for dropping