ДалееСледующее руководство
Тройная потеря и метрическое обучение
Основы
РУКОВОДСТВО ПО ОСНОВАМ
Функции потерь
A loss defines the objective used to assess predictions or another training target.
Прослушайте это руководствоОзвучено ИИ · ~3 min
На этой странице3 минуты чтения
Обзор
Individual loss values are often combined into a scalar for optimization, and the chosen objective is a proxy that may differ from the application's evaluation metric.
Глубокое погружение
A prediction loss compares outputs with training targets according to a specified rule. Those targets can be labels or values constructed for the learning task; they should not automatically be called unquestionable truth. Implementations may produce per-example losses and then sum or average them for an optimization step. Choosing the rule matters. Mean squared error averages squared residuals, giving large residuals more influence than mean absolute error, which averages their absolute values. For residuals one and three, mean squared error is five, while mean absolute error is two. These are illustrative calculations rather than performance results from a dataset. Classification commonly uses cross-entropy. With a one-hot target and a predicted probability p for its class, the loss is minus log p. A lower probability for the target class gives a larger loss, so confident wrong predictions can incur high loss. The logarithm base determines the units: base-two loss is in bits, while a natural logarithm gives nats. For a target probability of one-quarter, minus log-base-two p is two bits. Gradient-based optimization needs usable derivative information, but differentiability requirements should not be generalized to every learning algorithm. Some losses have nondifferentiable points handled by an appropriate subgradient or surrogate. Accuracy is a discrete evaluation metric and is generally not directly useful as a gradient-training objective. A suitable training loss supplies an optimization signal; final task quality needs evaluation using the relevant metrics.
Реальная реализация
Использование перекрестной энтропии для обучения классификатора спама в электронной почте, который наказывает за уверенную неверную классификацию.
Выбор средней абсолютной ошибки для прогнозирования цен на жилье, чтобы несколько экстремальных особняков не доминировали при обучении.
Применение контрастной потери, чтобы модель распознавания лиц объединяла изображения одного и того же человека.
Спроектируйте потерю модели вознаграждения, чтобы направить чат-бота к более полезным и честным ответам.
Будущее функций потерь
Objective design can combine prediction terms, regularization, and other task requirements. Comparisons should state the target definition, formula, reduction, units, and evaluation metric. An objective can decrease while an application metric remains unchanged or worsens, so improvement should be measured rather than inferred from training loss alone. Custom losses need examination of the behavior they encourage as well as their numerical and optimization properties.
Применение на практике
Почему это важно
- Более четкие решения. Это поможет вам отделить четкие технические заявления от маркетингового языка.
- Стоимость и бюджет. Вы можете задать более эффективные вопросы по реализации, прежде чем тратить деньги или время.
- Команда и рабочий процесс. Команды с общим пониманием принимают более эффективные решения по продуктам, политике и обучению.
Следите за
- Разные команды могут использовать один и тот же термин по-разному, поэтому заранее определите масштаб.
- Тесты могут выглядеть сильными, в то время как реальная производительность неравномерна.
- Игнорирование качества данных и планов оценки часто приводит к нестабильным результатам.
Следующие шаги
- Начните с простого определения желаемого результата.
- Перед тестированием выберите один показатель успеха и одно условие отказа.
- Запустите небольшой пилотный проект с репрезентативными данными, а не отточенный демонстрационный набор.
- Документ, где функции потерь помогают и где более простые методы лучше.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Loss Functions quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Что такое функции потерь?
A loss defines the objective used to assess predictions or another training target. Individual loss values are often combined into a scalar for optimization, and the chosen objective is a proxy that may differ from the application's evaluation metric.
For a prediction task, what does its selected loss quantify against the training target?
A loss defines a training objective; it does not automatically measure every aspect of application quality.
Какая функция потерь чаще всего используется для задач классификации?
Перекрестная энтропия сравнивает предсказанные распределения вероятностей с истинными метками и является стандартным выбором для классификации.
Почему вы можете выбрать среднюю абсолютную ошибку по сравнению со среднеквадратичной ошибкой?
Средняя абсолютная ошибка учитывает все ошибки пропорционально, а не возводит их в квадрат, поэтому несколько крайних выбросов имеют меньшее влияние.
Why does gradient-based training need a usable loss derivative or suitable substitute?
This concerns gradient-based training, not a claim that every possible learning algorithm requires a differentiable loss.
How does one-hot class cross-entropy change as probability assigned to the target class becomes very small?
The term minus log p grows as the target-class probability shrinks. This does not guarantee a particular gradient magnitude for every model weight.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме