引導式測驗 · 中等 等級
模型修剪測驗
檢查結構化和非結構化修剪、稀疏內核限制、迭代恢復、彩票聲明和部署測量。
問題 1 的 8
模型剪枝會從經過訓練的網路中刪除什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 模型剪枝會從經過訓練的網路中刪除什麼?
- 移除對輸出影響不大的權重或結構
- 添加更多參數以提高準確性
- 訓練更多紀元的模型
- 提高輸入分辨率
- 結構化剪枝與非結構化剪枝有何不同?
- 結構化修剪僅適用於影像
- 結構化修剪會刪除神經元或頭部等整個單元;非結構化消除了個體的權重
- 非結構化修剪需要從頭開始重新訓練
- 它們之間沒有實際區別
- 為什麼非結構化剪枝常常無法在普通硬體上加速模型?
- 它刪除了太多層
- 它總是將精度降低為零
- 稀疏權重矩陣需要特殊的硬體或函式庫來利用零點
- 它增加了參數數量
- 典型的迭代修剪方法是什麼?
- 一次修剪所有內容,然後部署
- 先量化,然後再訓練
- 隨機刪除圖層,直到精度下降
- 訓練、修剪最不重要的參數、微調以恢復,然後重複
- 彩票假說主張什麼?
- 密集網絡包含稀疏子網絡,當從正確的初始化進行訓練時,這些子網絡可以匹配完整的模型
- 修剪總是可以提高準確性
- 隨機修剪總是最好的
- 大模型無法壓縮
- 通常使用哪個簡單標準來決定要修剪哪些權重?
- 圖層名稱的字母順序
- 權重的絕對大小
- 啟動圖的顏色
- 訓練樣本數
- When is pruning most likely to reduce inference latency on ordinary dense hardware?
- When individual zeros are added but the dense kernel still computes them
- When the model is renamed without changing its graph
- When whole channels or other structures are removed to produce a smaller dense model
- When a sparse checkpoint is stored in a larger file
- What should a team measure after pruning for a deployment target?
- Only the number of zeros in a checkpoint
- Only training accuracy before pruning
- Whether the file extension changed
- Task quality and latency or memory on the intended hardware