基本ガイド
ラベルのスムージング
Label smoothing replaces hard one-hot targets with a softened target distribution during training.
このガイドを聴くAIによるナレーション · ~2 min
概要
It can regularize some models, but its effects on accuracy, calibration, and distillation depend on the task, model, and evaluation.
ディープダイブ
With K classes, one common label-smoothing convention assigns 1 − ε to the correct class and distributes ε across the remaining classes; implementations may instead distribute ε across all classes, so check the loss definition. This prevents the target from demanding probability one for the labeled class and can discourage extreme logits. The Inception-v3 work and the Transformer paper are prominent documented uses of the method. Research has found calibration and generalization benefits in some settings, while also showing that smoothing can remove information about similarities among incorrect classes and weaken a model as a knowledge-distillation teacher. It is therefore not a universal accuracy or calibration improvement. Choose ε and evaluate calibration, task quality, and downstream distillation on representative validation data.
現実世界の実装
ImageNet 分類: Inception-v3 は、ラベル スムージング (イプシロン 0.1) を使用して、トップ 1 の精度を高め、過信を軽減しました。
機械翻訳: オリジナルの Transformer は 0.1 のラベル スムージングを適用し、少しの複雑さと引き換えに BLEU スコアを高めました。
音声認識: 滑らかなターゲットにより、自信過剰な誤認識が減り、ノイズの多い音声のキャリブレーションが向上します。
医用画像モデル: 平滑化により、より適切に校正された確率が得られます。これは、信頼スコアが臨床上の決定に役立つ場合に重要です。
ラベル スムージングの将来
ラベル スムージングは大規模トレーニングのデフォルトのままですが、研究は 1 つのフラットな値を使用するのではなく、例またはクラスごとにイプシロンを調整する適応的で学習されたスムージングに向かって進んでいます。焦点損失や温度スケーリングなどのキャリブレーションに重点を置いた方法は、多くの場合、それと比較検討されたり、組み合わせられたりします。モデルが成長し、信頼できる不確実性の推定が安全性の重要性を増すにつれて、スムージングは、蒸留との既知の矛盾に細心の注意を払いながら、信頼できる信頼スコアを生成するための多くのツールの中の 1 つであることが期待されます。
実践する
なぜそれが重要なのか
- より明確な判決. これは、明確な技術的主張とマーケティング言語を区別するのに役立ちます。
- 費用と予算. お金や時間を費やす前に、実装に関するより良い質問をすることができます。
- チームとワークフロー. 共通の理解を持ったチームは、製品、ポリシー、学習に関する意思決定をより適切に行うことができます。
気をつけてください
- チームが異なれば、同じ用語の使用方法も異なる可能性があるため、範囲を早めに定義してください。
- ベンチマークは好調に見えても、実際のパフォーマンスにはばらつきがある場合があります。
- データの品質と評価計画を無視すると、多くの場合、脆弱な結果が生じます。
次のステップ
- 必要な結果を平易な言葉で定義することから始めます。
- テストする前に、成功指標と失敗条件を 1 つ選択します。
- 洗練されたデモセットではなく、代表的なデータを使用して小規模なパイロットを実行します。
- ラベル スムージングが役立つ場合と、より単純な方法の方が優れている場合を文書化します。
探検を続けましょう
よくある質問
What is Label Smoothing?
Label smoothing replaces hard one-hot targets with a softened target distribution during training. It can regularize some models, but its effects on accuracy, calibration, and distillation depend on the task, model, and evaluation.
ラベルのスムージングはトレーニング ターゲットに関して何を変更しますか?
ラベル スムージングは、厳密な 1.0/0.0 ターゲットの代わりに、(1 - イプシロン) を真のクラスに割り当て、イプシロンを他のクラスに分散します。
What is one intended effect of replacing hard one-hot targets with smoothed targets?
Smoothing softens the target distribution so the training objective does not demand a one-hot probability vector.
Which landmark architectures are prominent examples of label-smoothing use?
Inception-v3 and the Transformer paper are prominent documented uses of label smoothing; this wording makes no claim that either originated the technique.
What can label smoothing do to calibration?
Research reports calibration effects that depend on the model and evaluation setting; label smoothing is not a universal calibration guarantee.
文書化されたラベル スムージングの欠点は何ですか?
スムージングは、クラスターを強化し、クラス間のソフトな関係を平坦化することで、知識の蒸留に依存する情報を削除できます。