テスト時の拡張
テスト時拡張 (TTA) は、同じ入力のいくつかの変更されたバージョンでトレーニングされたモデルを実行し、予測を平均します。
概要
It is a simple, training-free trick that often squeezes out a few extra points of accuracy and makes predictions more robust.
ディープダイブ
テスト時の拡張では、単一の入力を受け取り、複数の変換されたコピー (反転、クロップ、回転、カラー シフト、またはスケーリングされたバージョン) を作成し、それぞれを同じ固定モデルで実行してから、通常は確率またはロジットを平均することによって出力を結合します。直感: 各拡張によりモデルはわずかに異なるビューに公開され、個々のビューのエラーは、1 つのネットワークから構築された小さなアンサンブルのように、プールされるとキャンセルされる傾向があります。重要なのは、TTA には再トレーニングや追加のラベルが必要ないことです。モデルはサンプルごとに N 回実行されるため、推論時の計算コストが増えるだけです。これはコンピュータ ビジョン (特に Kaggle コンペティションと医療画像) で最も人気がありますが、オーディオやテキストでも使用されます。拡張ではラベルを保持する必要があります。胸部 X 線写真を反転するのは問題ありませんが、数字の「6」を「9」に反転するのは問題です。
技術的な洞察
拡張ビュー全体にわたるモデルの予測誤差が部分的に相関していない場合、平均化によってアンサンブルと同様に分散が削減されますが、使用する重みのセットは 1 つです。分類では通常、ビュー全体のソフトマックス確率 (またはロジット) を平均します。セグメンテーションの場合は、プールする前に各幾何学的変換を反転して、ピクセル マップを再調整する必要があります。ラベルを保持する拡張を選択することが重要です。真のクラスを変更する変換は、ノイズをキャンセルするのではなく、バイアスを注入します。
戦略的影響
費用と予算
アーキテクチャの決定により、パフォーマンスと運用コストが何年にもわたって推進されます。
より明確な判決
技術教育は、チームが最新のスタックだけでなく、適切なスタックを選択するのに役立ちます。
品質管理
より良いエンジニアリングの選択により、本番環境での信頼性に関するインシデントが減少します。
テスト時拡張の将来
研究は学習された適応型 TTA に向かって進んでいます。この TTA では、固定セットを適用するのではなく、特定の入力ごとにどの拡張が役立つかを小さなポリシーで選択します。 「貪欲な」微分可能な TTA ポリシー検索と、自信のあるビューをより信頼する不確実性加重平均がアクティブな領域です。 TTA がテスト時のトレーニングと自己教師あり適応と融合し、魅力的な再トレーニングなしの特性を維持しながら、デプロイされたモデルをその場で分散シフトに調整できることが期待されます。
現実世界の実装
画像の水平方向の反転と複数のクロップにわたる予測を平均化し、推論時の ImageNet 分類精度を向上させます。
医療画像のセグメンテーション (腫瘍や臓器の境界など) で回転/反転を反転し、マスクを平均化して、より安定した描写を実現します。
Kaggle の競合他社は、10 クロップまたはマルチスケール TTA を適用して、再トレーニングせずにリーダーボードで何パーセントかの順位を獲得しています。
わずかにタイムシフトまたはピッチが乱れたクリップに対して音声またはオーディオ分類子を実行し、より安定したラベルを得るために出力をプールします。
リスクとガードレール
1 つのベンチマークを最適化すると、より広範なシステムの弱点が隠れる可能性があります。
インフラストラクチャとメンテナンスのコストは過小評価されがちです。
システムが複雑になるにつれて、セキュリティと可観測性のギャップが拡大する可能性があります。
実装ロードマップ
実装前にレイテンシ、品質、コストの目標を定義します。
現実的な負荷とデータ条件でのベンチマーク。
エラー、ドリフト、ユーザーへの影響を計測器で監視します。
スケーリングの前に、ロールバックとインシデント対応のパスを準備します。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Test-Time Augmentation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
テスト時トレーニング
よくある質問
What is Test-Time Augmentation?
テスト時拡張 (TTA) は、同じ入力のいくつかの変更されたバージョンでトレーニングされたモデルを実行し、予測を平均します。これはシンプルでトレーニング不要のトリックであり、多くの場合、精度をさらに 2、3 ポイント絞り出し、予測をより堅牢にします。
テスト時の拡張の背後にある中心的なアイデアは何ですか?
TTA は、再トレーニングを必要とせずに、同じトレーニング済みモデルを通じて 1 つの入力の複数の拡張バージョンをフィードし、予測を集約します。
TTA によって精度が向上することが多いのはなぜですか?
複数のビューの平均化は、1 つのネットワークのアンサンブルのように動作し、ビューごとのエラーが部分的に相関していない場合の分散を削減します。
TTA の使用にかかる主な費用はいくらですか?
各入力がネットワークを N 回通過するため、推論のコストはおよそ N 倍になります。
実際に数字分類子を傷つける可能性がある拡張選択肢はどれですか?
拡張では真のラベルを保持する必要があります。特定の数字を反転すると、その数字のアイデンティティが変更され、バイアスが注入されます。
セグメンテーションでは、TTA 出力を平均化する前にどのような追加の手順が必要ですか?
幾何学的拡張ではピクセルが移動するため、プールする前に各出力マスクを元の座標フレームに変換し直す必要があります。