引導式測驗 · 硬 等級

疊加和多義測驗

檢查特徵疊加、稀疏性、多語意神經元、重疊方向和壓縮表示的幾何形狀。

相關引導路徑疊加與多義
問題 1 的 8

神經網路中的「疊加」指的是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 神經網路中的「疊加」指的是什麼?
    • 透過重疊方向來表示比神經元更多的特徵
    • 將多個模型堆疊在一起
    • 運行模型兩次並取平均值
    • 在訓練期間為輸入添加噪聲
  2. 儘管存在特徵幹擾,什麼條件才能使疊加正常運作?
    • 功能始終處於密集活躍狀態
    • 功能稀疏,因此很少有功能同時處於活動狀態
    • 僅使用正激活
    • 神經元數量多於特徵數量
  3. 什麼是「多語意」神經元?
    • 永遠不會活化的神經元
    • 僅在輸出層中使用的神經元
    • 對許多不相關概念做出反應的神經元
    • 沒有連接的神經元
  4. 哪一篇 Anthropic 論文介紹了 2022 年這現象的對照研究?
    • 您所需要的就是關注
    • 使用深度 CNN 進行 ImageNet 分類
    • 用深度強化學習玩 Atari
    • 疊加玩具模型
  5. 如果一個層必須儲存比其尺寸更多的特徵,那麼在幾何上什麼是不可避免的?
    • 某些特徵必須共享重疊、非正交的方向
    • 這些特徵都可以保持完全正交
    • 網路一定會崩潰
    • 所有功能變得相同
  6. 為什麼疊加會使可解釋性變得更加困難?
    • 它使模型運行速度變慢
    • 單一神經元不再清晰地映射到單一概念
    • 它從模型中刪除所有特徵
    • 只影響輸入層
  7. Why does sparse feature activity reduce interference when more features than dimensions are represented?
    • Sparse activity makes all feature directions orthogonal
    • It increases the number of neurons automatically
    • Fewer features are active at the same time, so overlapping directions collide less often
    • It removes the need for nonlinear computation
  8. What does an antipodal pair of feature directions look like geometrically?
    • Two vectors at a right angle in separate dimensions
    • Two vectors with identical directions and magnitudes
    • A vector with no coordinates
    • Two directions that point opposite ways along the same line