引導式測驗 · 中等 等級

結構化修剪和層丟棄測驗

檢查為什麼結構化修剪可以加速推理、如何估計層重要性以及微調或蒸餾如何恢復品質。

相關引導路徑結構化剪枝和層丟棄
問題 1 的 8

為什麼結構化剪枝能夠產生真正的加速,而非結構化剪枝卻常常不能?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 為什麼結構化剪枝能夠產生真正的加速,而非結構化剪枝卻常常不能?
    • 結構化剪枝刪除了實際上收縮張量的相干塊
    • 非結構化剪枝增加了模型大小
    • 結構化修剪增加了更多層
    • 非結構化剪枝僅適用於 CPU
  2. 在 Transformer 中什麼是「層丟棄」?
    • 降低每層的學習率
    • 刪除整個變壓器塊以減少模型深度
    • 為每一層新增 dropout
    • 隨機地重新排序圖層
  3. 哪一個訊號通常表示變壓器層可以安全掉落?
    • 此層參數最多
    • 該層是網路中的第一層
    • 此層的輸入和輸出隱藏狀態非常相似
    • 此層使用記憶體最多
  4. 結構化剪枝後通常什麼步驟可以恢復準確性?
    • 僅增加批量大小
    • 重新量化為 16 位
    • 添加更多關注頭
    • 一輪簡短的微調或知識蒸餾
  5. 修剪時個人注意力頭通常如何排名?
    • 由於磁頭被遮蔽時損耗增加(靈敏度)
    • 按字母順序
    • 根據他們在詞彙中的位置
    • 根據他們看到的代幣數量
  6. 結構化剪枝與蒸餾相結合的主要實際用途是什麼?
    • 自動產生訓練數據
    • 從一個大型檢查點衍生出一系列較小、較快的模型
    • 加密模型權重
    • 增加上下文視窗長度
  7. Why can a smaller student recover some function of a pruned model during distillation?
    • It restores the deleted weights in place
    • It changes the test labels
    • It is trained to match useful outputs or behavior of the larger teacher
    • It removes the need for validation
  8. If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
    • The layer is guaranteed to be useless for every task
    • The model must add another layer
    • The output has no features
    • The layer changed the representation relatively little and may be a candidate for dropping