引導式測驗 · 中等 等級

神經網路測驗的縮放定律

測試經驗縮放定律如何將語言模型損失與參數、數據和計算聯繫起來,以及它們的預測適用於何處。

相關引導路徑神經網路的縮放定律
問題 1 的 8

卡普蘭等人採取了什麼模式。隨著模型大小、資料或計算量的增加,報告語言模型損失嗎?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 卡普蘭等人採取了什麼模式。隨著模型大小、資料或計算量的增加,報告語言模型損失嗎?
    • 測試範圍內的近似冪律關係
    • 突然保证下降到零
    • 每個較大模型的損失固定增加
    • 沒有可測量趨勢的隨機振盪
  2. 原始縮放定律與損失相關的三個量是什麼?
    • 批量大小、dropout 和 epoch
    • 模型參數、資料集大小和計算
    • 學習率、權重衰減和深度
    • GPU 數量、記憶體和延遲
  3. 在規劃更大規模的訓練時,縮放法則擬合有何幫助?
    • 它保證了最終的基準分數
    • 它消除了驗證的需要
    • 它可以根據測試設定從較小的實驗中進行推斷
    • 它可以準確預測任何資料集或架構的結果
  4. 縮放定律損失公式中的常數(不可約)項代表什麼?
    • 軟體錯誤
    • 學習率
    • GPU 數量
    • 沒有任何模型可以超越資料的內在熵
  5. 為什麼在冪律擬合下,隨著計算量不斷增加,絕對損失減少量會變得更小?
    • 當損失接近其下限時,可減少損失項會縮小
    • 每次計算增加後資料都會被刪除
    • 模型停止使用参数
    • 冪律要求損耗隨著時間的推移而增加
  6. 哪種趨勢正在推動該領域超越簡單的「越大越好」規模?
    • GPU 變得免費
    • 高品質數據的稀缺以及能源和成本的限制
    • 無限的高品質文字出現
    • 損耗曲線變成垂直直線
  7. 最初的卡普蘭研究對其測試範圍內的寬度和深度等架構細節有何看法?
    • 他們總是主導模型大小、數據和計算
    • 他們造成的損失與數據無關
    • 與研究的縮放變數相比,它們的影響相對較小
    • 他們保證所有架構具有相同的效能
  8. Kaplan 原始論文報告了哪些計算分配趨勢?
    • 每個模型都應該訓練為零損失
    • 小模型總是在相同的損失下使用更少的計算
    • 訓練資料對計算分配沒有影響
    • 大型模型的樣本效率更高,計算效率更高的訓練可以在收斂之前停止