引導式測驗 · 硬 等級

關鍵批次大小測驗

透過更新計數、處理的範例、梯度雜訊、目標時間比較和實際硬體限制來探索關鍵批量大小。

問題 1 的 8

哪些行為表徵了遠遠超出訓練問題的關鍵批次規模的批次?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 哪些行為表徵了遠遠超出訓練問題的關鍵批次規模的批次?
    • 每次更新的附加範例會逐漸減少所需的更新
    • 訓練在數學上變得不可能
    • 模型總是停止在記憶體中擬合
    • 每批加倍必須將經過的時間減半
  2. 為什麼記憶體中適合的最大批次不一定是臨界批次大小?
    • 記憶體容量決定每個梯度統計量
    • 記憶體適配和優化效率描述了不同的約束
    • 關鍵批量大小僅計算儲存位元組
    • 批量組裝總是能最大限度地縮短達到目標的時間
  3. 在 256 和 4,000 個更新的固定批次中,處理了多少個範例?
    • 4,256
    • 15.625
    • 1,024,000
    • 512,000
  4. 在工作比較中,將批次從 256 個變更增加到 512 個變更需要將更新從 4,000 次增加到 2,200 次。處理後的範例會發生什麼?
    • 他們下降了 45%
    • 他們沒有改變
    • 他們加倍
    • 從 1,024,000 人增加到 1,126,400 人,成長 10%
  5. 在得出較少的訓練更新可以節省運行時間的結論之前,還需要進行哪些測量?
    • 預期硬體上的實際更新或完整運行時間
    • 僅檢查點檔名
    • 僅參數計數
    • 僅第一批損失
  6. 所引用的大量研究與最大有用批次範圍相關的統計數據是什麼?
    • 單獨輸出類別的數量
    • 梯度雜訊尺度
    • 檢查點檔案副檔名
    • 評估報告數量
  7. 為什麼批量大小比較應該規定共同的效能目標?
    • 目標使每個學習率相等
    • 它可以防止批次使用不同數量的內存
    • 它可以根據達到相同目標所需的資源來比較運行
    • 它保證每次運行都達到全域最優
  8. 為什麼團隊可能會在訓練後期重新審視其批量大小?
    • 令牌中的位元組數始終加倍
    • 固定批次在一個紀元後不再合法
    • 以後的每批都必須更大
    • 有用的臨界尺度可以隨著訓練進度和目標損失而變化