引導式測驗 · 中等 等級

啟動函數測驗

檢查為什麼神經網路需要非線性,以及 ReLU、sigmoid、tanh、softmax、Leaky ReLU 和 GELU 在隱藏層與輸出層中的行為。

相關引導路徑激活函數
問題 1 的 8

為什麼僅堆疊線性層無法學習彎曲的決策邊界?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 為什麼僅堆疊線性層無法學習彎曲的決策邊界?
    • 每一層都會刪除所有輸入特徵
    • 輸出變成機率分佈
    • 線性層無法使用反向傳播進行訓練
    • 它們的組合仍然只是單一線性變換
  2. 當輸入為 −3 時,ReLU 的輸出是什麼?
    • −3
    • 0
    • 3
    • 類別機率
  3. 為什麼當輸入達到極端值時,sigmoid 和 tanh 會讓深度網路的學習停滯?
    • 它們在飽和區域的梯度趨近於零
    • 它們迫使所有權重變得相同
    • 它們無法表示有界值
    • 它們總是產生未定義的輸出
  4. 多類別分類器需要跨類別總和為一的輸出值。指南使用哪個函數?
    • 洩漏ReLU
    • 譚
    • 软最大
    • ReLU
  5. 指南中提到的「ReLU 死亡」問題是指什麼?
    • 訓練資料集失去標籤
    • 神經元停留在零輸出側,且在那裡收不到有用的梯度
    • softmax 的輸出總和不為一
    • 所有正輸入都變成負數
  6. 當許多 ReLU 神經元保持非活躍時,建議使用哪個變體?
    • 软最大
    • 純線性隱藏層
    • 每個隱藏層都使用 Sigmoid
    • Leaky ReLU,允許負側有微小的回應
  7. 指南將 GELU 的哪個特徵與其用於 Transformer 模型聯繫起來?
    • 它移除了所有非線性行為
    • 它總是能產生確切的類別機率
    • 平滑的響應,而非 ReLU 的生硬截斷
    • 它修復了所有的訓練不穩定性
  8. 對於正向輸入,什麼 ReLU 梯度屬性有助於保留反向傳播的訊號?
    • 它在正側的斜率是 1
    • 它的斜率永遠是零
    • 它在任何地方都沒有導數
    • 它將梯度標準化為類別機率