概述
This matters because meaning often depends on what comes next, not just what came before.
深入探討
雙向 RNN 由 Schuster 和 Paliwal 於 1997 年提出,在同一輸入上運行兩個獨立的循環層:一個從左到右處理序列,另一個從右到左處理序列。然後,通常透過串聯將它們的隱藏狀態組合起來,以在每個時間步形成對完整周圍上下文進行編碼的表示。這對於一次性提供全部輸入的任務來說非常強大。例如,要將單字銀行標記為金融機構而不是河邊,模型可以從兩側的單字中受益。雙向 LSTM 和 GRU 成為命名實體辨識、詞性標記和語音辨識的標準。關鍵的限制是網路在產生輸出之前需要完整的序列,因此它不能用於即時、串流或生成式從左到右的預測。
現實世界的實施
命名實體識別,兩側周圍的單字有助於將標記分類為人、地點或組織
使用前後上下文消除“lead”等單字的歧義的詞性標記
離線語音識別中的聲學建模,其中整個話語都可用
生物資訊學中的蛋白質或 DNA 序列標記,其中基序取決於側翼殘基
雙向循環網路的未來
雙向上下文在現代編碼器中繼續存在:BERT 風格的 Transformer 透過屏蔽注意力而不是循環實現了相同的目標,而且它們的並行性要好得多。雙向 RNN 在輕量級管道、音訊和生物訊號處理以及完整序列較短且帶有標籤的設定中仍然具有相關性。預計將繼續用於專門的、耐延遲的編碼任務,而基於注意力的雙向編碼器將主導大規模語言理解。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
What is Bidirectional Recurrent Networks?
雙向循環網路向前和向後讀取序列,因此每個位置的表示都藉鑒了過去和未來的上下文。這很重要,因為意義往往取決於接下來發生的事情,而不僅僅是之前發生的事情。
What does a bidirectional RNN do with an input sequence?
The guide describes two recurrent passes over the same input in opposite directions.
Why can context from both directions help label a word such as “bank”?
The guide gives contextual disambiguation as a benefit of bidirectional representations.
How are the two directional hidden states commonly combined at a position?
The guide says the directional states are typically concatenated before output.
Why can a bidirectional RNN be unsuitable for streaming generation?
The guide notes the full input must be available before outputs using future context can be produced.
What is one advantage of offline sequence labeling with bidirectionality?
Both passes provide context before and after the current position.