概述
這是一個簡單的、無需訓練的技巧,通常會擠出一些額外的準確度並使預測更加穩健。
深入探討
測試時增強採用單一輸入,建立多個轉換副本(翻轉、裁剪、旋轉、顏色偏移或縮放版本),透過相同的固定模型運行每個副本,然後組合輸出 - 通常透過平均機率或邏輯。直覺:每次增強都會將模型暴露在略有不同的視圖中,並且各個視圖上的錯誤在合併時往往會被消除,就像從一個網絡構建的一個小型整體一樣。至關重要的是,TTA 不需要再培訓,也不需要額外的標籤;它只會在推理時花費更多的計算量,因為模型每個樣本運行 N 次。它在電腦視覺(尤其是 Kaggle 競賽和醫學成像)中最受歡迎,但也出現在音訊和文字中。增強應該保留標籤-翻轉胸部X光片沒問題,但將數字「6」翻轉成「9」則不行。
現實世界的實施
對影像的水平翻轉和多次裁剪進行平均預測,以提高推理時的 ImageNet 分類準確性。
在醫學影像分割(例如腫瘤或器官邊界)中反轉旋轉/翻轉和平均光罩以獲得更穩定的輪廓。
Kaggle 參賽者應用十種作物或多尺度 TTA,無需重新培訓即可在排行榜上獲得一小部分的份額。
在稍微時移或音高擾動的剪輯上運行語音或音訊分類器,並彙集輸出以獲得更穩定的標籤。
測試時間增強的未來
研究正在轉向學習型和自適應 TTA,其中一個小策略會選擇哪些增強對每個特定輸入有幫助,而不是應用固定的集合。 「貪婪」和可微的 TTA 策略搜索,加上更信任自信觀點的不確定性加權平均,是活躍的領域。期望 TTA 能夠與測試時訓練和自我監督適應相結合,讓部署的模型動態適應分佈變化,同時保持有吸引力的無需重新訓練的特性。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是測試時間增強?
測試時間增強 (TTA) 對同一輸入的多個變更版本運行經過訓練的模型,並對預測進行平均。這是一個簡單的、無需訓練的技巧,通常會擠出一些額外的準確度並使預測更加穩健。
在推理時,測驗時增強對單一輸入有何作用?
TTA 透過同一經過訓練的模型提供一個輸入的多個增強版本,並聚合預測,無需重新訓練。
何時從轉換視角的池化預測能降低預測變異?
集合直覺依賴於有用且保留標籤的視角,其錯誤不會完全相關。
使用TTA的主要成本是什麼?
由於每個輸入都會通過網路 N 次,因此推理的成本大約會增加 N 倍。
哪種增強選擇實際上會損害數位分類器?
增強必須保留真實的標籤;翻轉某些數字會改變它們的身份並注入偏見。
在分割中,在平均 TTA 輸出之前需要什麼額外步驟?
幾何增強會移動像素,因此每個輸出掩模必須在池化之前轉換回原始座標系。