ДаліНаступний посібник
Триплетні втрати та метрика
основи
ПОСІБНИК З ОСНОВ
Функції втрат
A loss defines the objective used to assess predictions or another training target.
Послухайте цей посібникШІ-розказаний · ~3 min
На цій сторінці3 хвилини читання
Огляд
Individual loss values are often combined into a scalar for optimization, and the chosen objective is a proxy that may differ from the application's evaluation metric.
Глибоке занурення
A prediction loss compares outputs with training targets according to a specified rule. Those targets can be labels or values constructed for the learning task; they should not automatically be called unquestionable truth. Implementations may produce per-example losses and then sum or average them for an optimization step. Choosing the rule matters. Mean squared error averages squared residuals, giving large residuals more influence than mean absolute error, which averages their absolute values. For residuals one and three, mean squared error is five, while mean absolute error is two. These are illustrative calculations rather than performance results from a dataset. Classification commonly uses cross-entropy. With a one-hot target and a predicted probability p for its class, the loss is minus log p. A lower probability for the target class gives a larger loss, so confident wrong predictions can incur high loss. The logarithm base determines the units: base-two loss is in bits, while a natural logarithm gives nats. For a target probability of one-quarter, minus log-base-two p is two bits. Gradient-based optimization needs usable derivative information, but differentiability requirements should not be generalized to every learning algorithm. Some losses have nondifferentiable points handled by an appropriate subgradient or surrogate. Accuracy is a discrete evaluation metric and is generally not directly useful as a gradient-training objective. A suitable training loss supplies an optimization signal; final task quality needs evaluation using the relevant metrics.
Реалізація в реальному світі
Використання втрат перехресної ентропії для навчання класифікатора спаму електронної пошти, який карає за впевнені неправильні класифікації
Вибір середньої абсолютної помилки для прогнозування ціни на житло, щоб кілька екстремальних особняків не домінували в навчанні
Застосування контрастної втрати, щоб модель розпізнавання обличчя об’єднувала зображення однієї людини
Розробка втраченої моделі винагороди, щоб спрямувати чат-бота на більш корисні та чесні відповіді
Майбутнє функцій втрат
Objective design can combine prediction terms, regularization, and other task requirements. Comparisons should state the target definition, formula, reduction, units, and evaluation metric. An objective can decrease while an application metric remains unchanged or worsens, so improvement should be measured rather than inferred from training loss alone. Custom losses need examination of the behavior they encourage as well as their numerical and optimization properties.
Застосування на практиці
Чому це важливо
- Чіткіші рішення. Це допоможе вам відокремити чіткі технічні заяви від маркетингової мови.
- Вартість і бюджет. Перш ніж витрачати гроші чи час, ви можете задати питання про кращу реалізацію.
- Команда та робочий процес. Команди зі спільним розумінням приймають кращі рішення щодо продуктів, політики та навчання.
Зверніть увагу на
- Різні команди можуть використовувати той самий термін по-різному, тому визначте обсяг завчасно.
- Порівняльні показники можуть виглядати сильними, тоді як продуктивність у реальному світі нерівномірна.
- Ігнорування якості даних і планів оцінки часто призводить до нестабільних результатів.
Наступні кроки
- Почніть із простого визначення необхідного результату.
- Перед тестуванням виберіть одну метрику успіху та одну умову невдачі.
- Запустіть невеликий пілот із репрезентативними даними, а не відшліфованим демонстраційним набором.
- Задокументуйте, де допомагають функції втрати, а де простіші методи кращі.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the Loss Functions quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
What is Loss Functions?
A loss defines the objective used to assess predictions or another training target. Individual loss values are often combined into a scalar for optimization, and the chosen objective is a proxy that may differ from the application's evaluation metric.
For a prediction task, what does its selected loss quantify against the training target?
A loss defines a training objective; it does not automatically measure every aspect of application quality.
Яка функція втрат найчастіше використовується для завдань класифікації?
Перехресна ентропія порівнює прогнозовані розподіли ймовірностей із справжніми мітками та є стандартним вибором для класифікації.
Порівняно із середньоквадратичною помилкою, чому ви можете обрати середню абсолютну помилку?
Середня абсолютна помилка розглядає всі помилки пропорційно, а не зводить їх у квадрат, тому кілька крайніх викидів мають менший вплив.
Why does gradient-based training need a usable loss derivative or suitable substitute?
This concerns gradient-based training, not a claim that every possible learning algorithm requires a differentiable loss.
How does one-hot class cross-entropy change as probability assigned to the target class becomes very small?
The term minus log p grows as the target-class probability shrinks. This does not guarantee a particular gradient magnitude for every model weight.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми