Сглаживание меток
Сглаживание меток — это простой прием регуляризации, который смягчает жесткие тренировочные цели, сообщая модели, что правильный ответ весьма вероятен, но не на 100 процентов.
Обзор
It improves calibration and generalization across image and language models with almost no extra cost.
Глубокое погружение
Обычно классификатор обучается на горячих метках: истинный класс получает цель 1.0, а все остальное — 0.0. В сочетании с кросс-энтропией и softmax это подталкивает модель к тому, чтобы правильный логит был бесконечно больше остальных, поощряя чрезмерную самоуверенность и переобучение. Сглаживание меток заменяет цель на (1 - эпсилон) для истинного класса и разброс эпсилон/(K-1) по другим классам K, где эпсилон мал (обычно 0,1). Модель теперь нацелена на уверенное, но не абсолютное распределение. Представленный в работе Inception-v3 2016 года и позже проанализированный группой Хинтона, он улучшил точность ImageNet и является стандартным в Transformers, где в оригинальной статье «Внимание - все, что вам нужно» использовалось эпсилон 0,1.
Техническая информация
При использовании жестких меток минимизация перекрестной энтропии приближает правильный логит к положительной бесконечности относительно других, что недостижимо и доводит веса до крайностей. Сглаживание устанавливает конечный оптимальный разрыв между правильным логитом и остальными, поэтому логиты остаются ограниченными, и модель перестает быть максимально достоверной. Исследования показывают, что это сужает кластеры одного класса и дает более точно откалиброванные вероятности, при этом прогнозируемая достоверность соответствует фактической точности. Компромисс: это может стереть детальную информацию о сходстве между классами, что иногда мешает дистилляции знаний там, где эти мягкие отношения имеют значение.
Стратегическое воздействие
Более четкие решения
Это поможет вам отделить четкие технические заявления от маркетингового языка.
Стоимость и бюджет
Вы можете задать более эффективные вопросы по реализации, прежде чем тратить деньги или время.
Команда и рабочий процесс
Команды с общим пониманием принимают более эффективные решения по продуктам, политике и обучению.
Будущее сглаживания меток
Сглаживание меток остается стандартным в крупномасштабном обучении, но исследования движутся к адаптивному и обученному сглаживанию, которое корректирует эпсилон для каждого примера или класса, а не использует одно фиксированное значение. Методы, ориентированные на калибровку, такие как потеря фокуса и температурное масштабирование, часто сравниваются с ним или комбинируются с ним. Поскольку модели растут, а надежные оценки неопределенности становятся критически важными с точки зрения безопасности, ожидайте, что сглаживание станет одним из многих инструментов для получения надежных показателей достоверности, при этом особое внимание будет уделено его известному конфликту с дистилляцией.
Реальная реализация
Классификация ImageNet: Inception-v3 использовало сглаживание меток (эпсилон 0,1) для повышения точности первого уровня и уменьшения излишней самоуверенности.
Машинный перевод: в оригинальном Transformer применялось сглаживание меток 0,1, в обмен на небольшое недоумение ради более высоких оценок BLEU.
Распознавание речи: сглаженные цели уменьшают вероятность самоуверенного распознавания и улучшают калибровку шумного звука.
Модели медицинской визуализации: сглаживание дает более точно откалиброванные вероятности, что важно, когда показатель достоверности влияет на клинические решения.
Риски и ограничения
Разные команды могут использовать один и тот же термин по-разному, поэтому заранее определите масштаб.
Тесты могут выглядеть сильными, в то время как реальная производительность неравномерна.
Игнорирование качества данных и планов оценки часто приводит к нестабильным результатам.
Дорожная карта реализации
Начните с простого определения желаемого результата.
Перед тестированием выберите один показатель успеха и одно условие отказа.
Запустите небольшой пилотный проект с репрезентативными данными, а не отточенный демонстрационный набор.
Документ, в котором помогает сглаживание меток и где более простые методы лучше.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Label Smoothing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Кластеризация K-средних
Часто задаваемые вопросы
What is Label Smoothing?
Сглаживание меток — это простой прием регуляризации, который смягчает жесткие тренировочные цели, сообщая модели, что правильный ответ весьма вероятен, но не на 100 процентов. Это улучшает калибровку и обобщение моделей изображений и языков практически без дополнительных затрат.
Что сглаживание меток меняет в тренировочных целях?
Вместо жесткой цели 1,0/0,0 сглаживание меток присваивает (1 - эпсилон) истинному классу и распределяет эпсилон по остальным.
Какую проблему с жесткими метками one-hot решает сглаживание?
Минимизация перекрестной энтропии на «горячих» целях приводит правильный логит к бесконечности по сравнению с другими, поощряя чрезмерную самоуверенность и переобучение.
Какие знаковые архитектуры помогли популяризировать сглаживание меток?
Сглаживание меток было представлено в документе Inception-v3 2016 года и адаптировано Transformer (Attention Is All You Need) с epsilon 0.1.
Помимо точности, чем известно сглаживание меток?
Сглаживание улучшает калибровку, прогнозируемая достоверность более точно соответствует истинной вероятности оказаться правильным.
Каков документально подтвержденный недостаток сглаживания меток?
Сжимая кластеры и выравнивая мягкие связи между классами, сглаживание может удалить информацию, от которой зависит дистилляция знаний.