引導式測驗 · 中等 等級

模型修剪測驗

檢查結構化和非結構化修剪、稀疏內核限制、迭代恢復、彩票聲明和部署測量。

相關引導路徑模型剪枝
問題 1 的 8

模型剪枝會從經過訓練的網路中刪除什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 模型剪枝會從經過訓練的網路中刪除什麼?
    • 移除對輸出影響不大的權重或結構
    • 添加更多參數以提高準確性
    • 訓練更多紀元的模型
    • 提高輸入分辨率
  2. 結構化剪枝與非結構化剪枝有何不同?
    • 結構化修剪僅適用於影像
    • 結構化修剪會刪除神經元或頭部等整個單元;非結構化消除了個體的權重
    • 非結構化修剪需要從頭開始重新訓練
    • 它們之間沒有實際區別
  3. 為什麼非結構化剪枝常常無法在普通硬體上加速模型?
    • 它刪除了太多層
    • 它總是將精度降低為零
    • 稀疏權重矩陣需要特殊的硬體或函式庫來利用零點
    • 它增加了參數數量
  4. 典型的迭代修剪方法是什麼?
    • 一次修剪所有內容,然後部署
    • 先量化,然後再訓練
    • 隨機刪除圖層,直到精度下降
    • 訓練、修剪最不重要的參數、微調以恢復,然後重複
  5. 彩票假說主張什麼?
    • 密集網絡包含稀疏子網絡,當從正確的初始化進行訓練時,這些子網絡可以匹配完整的模型
    • 修剪總是可以提高準確性
    • 隨機修剪總是最好的
    • 大模型無法壓縮
  6. 通常使用哪個簡單標準來決定要修剪哪些權重?
    • 圖層名稱的字母順序
    • 權重的絕對大小
    • 啟動圖的顏色
    • 訓練樣本數
  7. When is pruning most likely to reduce inference latency on ordinary dense hardware?
    • When individual zeros are added but the dense kernel still computes them
    • When the model is renamed without changing its graph
    • When whole channels or other structures are removed to produce a smaller dense model
    • When a sparse checkpoint is stored in a larger file
  8. What should a team measure after pruning for a deployment target?
    • Only the number of zeros in a checkpoint
    • Only training accuracy before pruning
    • Whether the file extension changed
    • Task quality and latency or memory on the intended hardware