引導式測驗 · 中等 等級
啟動函數測驗
檢查為什麼神經網路需要非線性,以及 ReLU、sigmoid、tanh、softmax、Leaky ReLU 和 GELU 在隱藏層與輸出層中的行為。
問題 1 的 8
為什麼僅堆疊線性層無法學習彎曲的決策邊界?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 為什麼僅堆疊線性層無法學習彎曲的決策邊界?
- 每一層都會刪除所有輸入特徵
- 輸出變成機率分佈
- 線性層無法使用反向傳播進行訓練
- 它們的組合仍然只是單一線性變換
- 當輸入為 −3 時,ReLU 的輸出是什麼?
- −3
- 0
- 3
- 類別機率
- 為什麼當輸入達到極端值時,sigmoid 和 tanh 會讓深度網路的學習停滯?
- 它們在飽和區域的梯度趨近於零
- 它們迫使所有權重變得相同
- 它們無法表示有界值
- 它們總是產生未定義的輸出
- 多類別分類器需要跨類別總和為一的輸出值。指南使用哪個函數?
- 洩漏ReLU
- 譚
- 软最大
- ReLU
- 指南中提到的「ReLU 死亡」問題是指什麼?
- 訓練資料集失去標籤
- 神經元停留在零輸出側,且在那裡收不到有用的梯度
- softmax 的輸出總和不為一
- 所有正輸入都變成負數
- 當許多 ReLU 神經元保持非活躍時,建議使用哪個變體?
- 软最大
- 純線性隱藏層
- 每個隱藏層都使用 Sigmoid
- Leaky ReLU,允許負側有微小的回應
- 指南將 GELU 的哪個特徵與其用於 Transformer 模型聯繫起來?
- 它移除了所有非線性行為
- 它總是能產生確切的類別機率
- 平滑的響應,而非 ReLU 的生硬截斷
- 它修復了所有的訓練不穩定性
- 對於正向輸入,什麼 ReLU 梯度屬性有助於保留反向傳播的訊號?
- 它在正側的斜率是 1
- 它的斜率永遠是零
- 它在任何地方都沒有導數
- 它將梯度標準化為類別機率