概述
層將輸入轉換為輸出,訓練調整這些參數以提高所選目標的效能。
重點摘要
- 權重和偏差是學習參數;激活函數轉換中間結果。
- 反向傳播計算優化器使用的梯度。
- 內部啟動並不自動成為機率或解釋。
深入探討
基本的人工神經元使用權重組合輸入值,添加偏差,並應用激活函數。權重控制每個輸入貢獻的強度。偏差會改變結果。非線性活化讓層能夠表示一堆純線性操作無法表示的關係。例如,ReLU 啟動對於負輸入返回零,並保持正輸入不變。網路可以在不同層使用不同的啟動。選擇適合任務的輸出層:數字預測的解釋方式與可能類別的分數不同。在訓練期間,損失函數將輸出與期望結果進行比較。反向傳播使用鍊式法則來計算參數如何影響損失。然後優化器使用該資訊來更新參數。反向傳播計算梯度;並不能保證模型能夠找到最佳解決方案或很好地概括。大腦的類比是有限的。人工神經元是數學抽象,成功的網路並不是類人思考的證據。更大的網路可以對複雜的關係進行建模,但運行成本也更高,適合不相關的模式,或在條件改變時失敗。將其與更簡單的基準進行比較,並在訓練資料以外的範例上進行測試。
04工作範例
計算一個人工神經元
使用兩個輸入 0.8 和 0.5,權重分別為 0.6 和 -0.4,偏差為 0.1。
加權和為 (0.8 × 0.6) + (0.5 × -0.4) + 0.1 = 0.38。
ReLU 回傳 0.38。如果第二個輸入變更為 1.5,則總和變為 -0.02,並且 ReLU 傳回 0。
它顯示了什麼
這個說明性計算是網路內部的一種轉換。值 0.38 是一個激活值,而不是 38% 置信度聲明。
現實世界的實施
視覺網路將像素值轉換為可用於影像分類的特徵。
語言模型將標記表示轉換為用於產生後續標記的分數。
預測網路將最近的觀察結果映射到必須根據未來結果進行評估的數值估計。
付諸實踐
為什麼這很重要
- 更明確的決策. 它可以幫助您將清晰的技術聲明與行銷語言分開。
- 成本與預算. 在花費金錢或時間之前,您可以提出更好的實施問題。
- 團隊與工作流程. 具有共同理解的團隊可以做出更好的產品、政策和學習決策。
留意
- 不同的團隊可能會以不同的方式使用相同術語,因此請儘早定義範圍。
- 基準測試可能看起來很強大,但實際效能卻參差不齊。
- 忽視數據品質和評估計劃通常會產生脆弱的結果。
後續步驟
- 從您需要的結果的簡單語言定義開始。
- 在測試之前選擇一種成功指標和一種失敗條件。
- 使用代表性資料運行小型試點,而不是完善的演示集。
- 記錄神經網路在哪些方面有幫助以及在哪些方面更簡單的方法更好。
資料來源與延伸閱讀
- Google激活函數
- Google使用反向傳播進行訓練
不斷探索
常見問題
為什麼神經網路需要激活函數?
非線性激活函數讓堆疊層表示非線性關係。僅堆疊線性運算仍會產生線性變換。
神經網路越大越好嗎?
不會。效能取決於任務、數據、訓練、評估和部署約束。更多參數會增加成本,且不能保證輸出更可靠。