引導式測驗 · 中等 等級

彩票假設測驗

檢查您對彩票、初始化、剪枝以及稀疏神經網路聲明限制的理解。

相關引導路徑彩票假說
問題 1 的 8

這個假設中的「中獎彩券」是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 這個假設中的「中獎彩券」是什麼?
    • 稀疏子網絡,從其原始 init 開始訓練,與完整網絡相匹配
    • 具有比平常更多參數的網絡
    • 從網路上下載的預訓練模型
    • 一組隨機猜測的超參數
  2. 在原始的 lottery-ticket 實驗中,重新訓練票券時與發現的稀疏遮罩配對的是什麼?
    • 每個存活權重都會產生全新的隨機值
    • 存活權重與原始初始化相符
    • 每個剪枝回合使用不同的架構
    • 最終訓練的權重,且未重設
  3. 彩票假說是誰提出的?
    • 古德費羅 (2014)
    • 克里熱夫斯基、蘇茨克韋爾、辛頓 (2012)
    • 弗蘭克爾和卡賓 (2018)
    • 西爾弗與同事 (2016)
  4. 原始 Lottery Ticket Hypothesis 論文使用了哪種程序來識別贏家票券?
    • 隨機移除所有權重的一半
    • 迭代幅度剪枝,並重設回原始初始化
    • 在每個剪枝回合後加入 dropout
    • 每個 epoch 後提升學習率
  5. 應如何描述「過度參數化有助於優化找到可訓練的稀疏結構」的概念?
    • 一個猜想或提出的解釋,並非原始實驗所確立的結果
    • 對每種神經網路架構皆成立的定理
    • 保證所有權重皆可在不損失的情況下移除
    • 一項聲稱剪枝消除對訓練資料需求的說法
  6. 強大的彩票票證結果在其理論設定中聲稱什麼?
    • 每個隨機初始化的網路已經能解決任何任務
    • 足夠過參數化的隨機初始化網路可以包含一個被修剪的子網路,該子網路在不進一步權重訓練的情況下即可近似目標
    • 修剪總是保留訓練模型的準確度
    • 稀疏網路永遠不需要資料
  7. 迭代幅度修剪在每一步修剪時會移除什麼?
    • 標籤最低的訓練樣本
    • 具有最多輸出連接的神經元
    • 幅度最小的權重
    • 最終層中的所有權重
  8. 原始論文報告的彩券票證實驗使用了哪些資料集?
    • 僅 ImageNet 和 COCO
    • LibriSpeech 和 Common Voice
    • SQuAD 和 GLUE
    • MNIST 和 CIFAR-10