ラベルのスムージング
ラベル スムージングは、難しいワンホット トレーニング ターゲットを和らげる単純な正則化トリックで、正解の可能性は非常に高いが、100% 確実ではないことをモデルに伝えます。
概要
It improves calibration and generalization across image and language models with almost no extra cost.
ディープダイブ
通常、分類子はワンホット ラベルでトレーニングされます。真のクラスはターゲット 1.0 を取得し、その他のすべては 0.0 を取得します。クロスエントロピーとソフトマックスを組み合わせると、モデルが正しいロジットを残りのロジットよりも無限に大きくするようになり、過信と過剰適合が促進されます。ラベル スムージングは、真のクラスのターゲットを (1 - イプシロン) に置き換え、他の K クラス全体に広がるイプシロン/(K-1) に置き換えます。イプシロンは小さい (通常は 0.1)。このモデルは現在、確信はあるが絶対的ではない分布を目指しています。 2016 年の Inception-v3 作業で導入され、後にヒントンのグループによって分析されたこの機能は、ImageNet の精度を向上させ、Transformers では標準となっています。オリジナルの Attending Is All You Need 論文では 0.1 のイプシロンが使用されていました。
技術的な洞察
ハードラベルの場合、クロスエントロピーを最小限に抑えると、他のロジットと比較して正しいロジットが正の無限大に向かって駆動されますが、これは達成不可能であり、重みが極端に押し上げられます。平滑化により、正しいロジットと残りのロジットの間に有限の最適なギャップが設定されるため、ロジットは制限されたままとなり、モデルは最大の信頼性を持たなくなります。研究によると、これにより同じクラスのクラスターが強化され、より適切に調整された確率が生成され、予測された信頼性が実際の精度と一致します。その代償として、クラス間の詳細な類似性情報が消去される可能性があり、ソフトな関係が重要な場合に知識の蒸留が損なわれることがあります。
戦略的影響
より明確な判決
これは、明確な技術的主張とマーケティング言語を区別するのに役立ちます。
費用と予算
お金や時間を費やす前に、実装に関するより良い質問をすることができます。
チームとワークフロー
共通の理解を持ったチームは、製品、ポリシー、学習に関する意思決定をより適切に行うことができます。
ラベル スムージングの将来
ラベル スムージングは大規模トレーニングのデフォルトのままですが、研究は 1 つのフラットな値を使用するのではなく、例またはクラスごとにイプシロンを調整する適応的で学習されたスムージングに向かって進んでいます。焦点損失や温度スケーリングなどのキャリブレーションに重点を置いた方法は、多くの場合、それと比較検討されたり、組み合わせられたりします。モデルが成長し、信頼できる不確実性の推定が安全性の重要性を増すにつれて、スムージングは、蒸留との既知の矛盾に細心の注意を払いながら、信頼できる信頼スコアを生成するための多くのツールの中の 1 つであることが期待されます。
現実世界の実装
ImageNet 分類: Inception-v3 は、ラベル スムージング (イプシロン 0.1) を使用して、トップ 1 の精度を高め、過信を軽減しました。
機械翻訳: オリジナルの Transformer は 0.1 のラベル スムージングを適用し、少しの複雑さと引き換えに BLEU スコアを高めました。
音声認識: 滑らかなターゲットにより、自信過剰な誤認識が減り、ノイズの多い音声のキャリブレーションが向上します。
医用画像モデル: 平滑化により、より適切に校正された確率が得られます。これは、信頼スコアが臨床上の決定に役立つ場合に重要です。
リスクとガードレール
チームが異なれば、同じ用語の使用方法も異なる可能性があるため、範囲を早めに定義してください。
ベンチマークは好調に見えても、実際のパフォーマンスにはばらつきがある場合があります。
データの品質と評価計画を無視すると、多くの場合、脆弱な結果が生じます。
実装ロードマップ
必要な結果を平易な言葉で定義することから始めます。
テストする前に、成功指標と失敗条件を 1 つ選択します。
洗練されたデモセットではなく、代表的なデータを使用して小規模なパイロットを実行します。
ラベル スムージングが役立つ場合と、より単純な方法の方が優れている場合を文書化します。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Label Smoothing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
K 平均法クラスタリング
よくある質問
What is Label Smoothing?
ラベル スムージングは、難しいワンホット トレーニング ターゲットを和らげる単純な正則化トリックで、正解の可能性は非常に高いが、100% 確実ではないことをモデルに伝えます。追加コストをほとんど発生させることなく、画像および言語モデル全体の調整と一般化が向上します。
ラベルのスムージングはトレーニング ターゲットに関して何を変更しますか?
ラベル スムージングは、厳密な 1.0/0.0 ターゲットの代わりに、(1 - イプシロン) を真のクラスに割り当て、イプシロンを他のクラスに分散します。
スムージングはハード ワンホット ラベルのどのような問題に対処しますか?
ワンホット ターゲットでのクロス エントロピーを最小限に抑えると、他のターゲットと比較して正しいロジットが無限大に向かって駆動され、過信と過剰適合が促進されます。
ラベル スムージングの普及に貢献した画期的なアーキテクチャはどれですか?
ラベル スムージングは、2016 年の Inception-v3 論文で導入され、epsilon 0.1 の Transformer (Attending Is All You Need) で採用されました。
精度以外に、ラベル スムージングにはどのような利点があることが知られていますか?
平滑化によりキャリブレーションが向上し、予測された信頼度が正しい可能性の真の精度にさらに近づきます。
文書化されたラベル スムージングの欠点は何ですか?
スムージングは、クラスターを強化し、クラス間のソフトな関係を平坦化することで、知識の蒸留に依存する情報を削除できます。