引導式測驗 · 硬 等級
關鍵批次大小測驗
透過更新計數、處理的範例、梯度雜訊、目標時間比較和實際硬體限制來探索關鍵批量大小。
問題 1 的 8
哪些行為表徵了遠遠超出訓練問題的關鍵批次規模的批次?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 哪些行為表徵了遠遠超出訓練問題的關鍵批次規模的批次?
- 每次更新的附加範例會逐漸減少所需的更新
- 訓練在數學上變得不可能
- 模型總是停止在記憶體中擬合
- 每批加倍必須將經過的時間減半
- 為什麼記憶體中適合的最大批次不一定是臨界批次大小?
- 記憶體容量決定每個梯度統計量
- 記憶體適配和優化效率描述了不同的約束
- 關鍵批量大小僅計算儲存位元組
- 批量組裝總是能最大限度地縮短達到目標的時間
- 在 256 和 4,000 個更新的固定批次中,處理了多少個範例?
- 4,256
- 15.625
- 1,024,000
- 512,000
- 在工作比較中,將批次從 256 個變更增加到 512 個變更需要將更新從 4,000 次增加到 2,200 次。處理後的範例會發生什麼?
- 他們下降了 45%
- 他們沒有改變
- 他們加倍
- 從 1,024,000 人增加到 1,126,400 人,成長 10%
- 在得出較少的訓練更新可以節省運行時間的結論之前,還需要進行哪些測量?
- 預期硬體上的實際更新或完整運行時間
- 僅檢查點檔名
- 僅參數計數
- 僅第一批損失
- 所引用的大量研究與最大有用批次範圍相關的統計數據是什麼?
- 單獨輸出類別的數量
- 梯度雜訊尺度
- 檢查點檔案副檔名
- 評估報告數量
- 為什麼批量大小比較應該規定共同的效能目標?
- 目標使每個學習率相等
- 它可以防止批次使用不同數量的內存
- 它可以根據達到相同目標所需的資源來比較運行
- 它保證每次運行都達到全域最優
- 為什麼團隊可能會在訓練後期重新審視其批量大小?
- 令牌中的位元組數始終加倍
- 固定批次在一個紀元後不再合法
- 以後的每批都必須更大
- 有用的臨界尺度可以隨著訓練進度和目標損失而變化