引導式測驗 · 硬 等級
疊加和多義測驗
檢查特徵疊加、稀疏性、多語意神經元、重疊方向和壓縮表示的幾何形狀。
問題 1 的 8
神經網路中的「疊加」指的是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 神經網路中的「疊加」指的是什麼?
- 透過重疊方向來表示比神經元更多的特徵
- 將多個模型堆疊在一起
- 運行模型兩次並取平均值
- 在訓練期間為輸入添加噪聲
- 儘管存在特徵幹擾,什麼條件才能使疊加正常運作?
- 功能始終處於密集活躍狀態
- 功能稀疏,因此很少有功能同時處於活動狀態
- 僅使用正激活
- 神經元數量多於特徵數量
- 什麼是「多語意」神經元?
- 永遠不會活化的神經元
- 僅在輸出層中使用的神經元
- 對許多不相關概念做出反應的神經元
- 沒有連接的神經元
- 哪一篇 Anthropic 論文介紹了 2022 年這現象的對照研究?
- 您所需要的就是關注
- 使用深度 CNN 進行 ImageNet 分類
- 用深度強化學習玩 Atari
- 疊加玩具模型
- 如果一個層必須儲存比其尺寸更多的特徵,那麼在幾何上什麼是不可避免的?
- 某些特徵必須共享重疊、非正交的方向
- 這些特徵都可以保持完全正交
- 網路一定會崩潰
- 所有功能變得相同
- 為什麼疊加會使可解釋性變得更加困難?
- 它使模型運行速度變慢
- 單一神經元不再清晰地映射到單一概念
- 它從模型中刪除所有特徵
- 只影響輸入層
- Why does sparse feature activity reduce interference when more features than dimensions are represented?
- Sparse activity makes all feature directions orthogonal
- It increases the number of neurons automatically
- Fewer features are active at the same time, so overlapping directions collide less often
- It removes the need for nonlinear computation
- What does an antipodal pair of feature directions look like geometrically?
- Two vectors at a right angle in separate dimensions
- Two vectors with identical directions and magnitudes
- A vector with no coordinates
- Two directions that point opposite ways along the same line