À suivreGuide suivant
Perte de triplet et apprentissage métrique
Fondamentaux
GUIDE des fondamentaux
Fonctions de perte
A loss defines the objective used to assess predictions or another training target.
Écoutez ce guideNarré par l'IA · ~3 min
Sur cette page3 minutes de lecture
Aperçu
Individual loss values are often combined into a scalar for optimization, and the chosen objective is a proxy that may differ from the application's evaluation metric.
Plongée profonde
A prediction loss compares outputs with training targets according to a specified rule. Those targets can be labels or values constructed for the learning task; they should not automatically be called unquestionable truth. Implementations may produce per-example losses and then sum or average them for an optimization step. Choosing the rule matters. Mean squared error averages squared residuals, giving large residuals more influence than mean absolute error, which averages their absolute values. For residuals one and three, mean squared error is five, while mean absolute error is two. These are illustrative calculations rather than performance results from a dataset. Classification commonly uses cross-entropy. With a one-hot target and a predicted probability p for its class, the loss is minus log p. A lower probability for the target class gives a larger loss, so confident wrong predictions can incur high loss. The logarithm base determines the units: base-two loss is in bits, while a natural logarithm gives nats. For a target probability of one-quarter, minus log-base-two p is two bits. Gradient-based optimization needs usable derivative information, but differentiability requirements should not be generalized to every learning algorithm. Some losses have nondifferentiable points handled by an appropriate subgradient or surrogate. Accuracy is a discrete evaluation metric and is generally not directly useful as a gradient-training objective. A suitable training loss supplies an optimization signal; final task quality needs evaluation using the relevant metrics.
Mise en œuvre dans le monde réel
Utilisation de la perte d'entropie croisée pour former un classificateur de courrier indésirable qui pénalise les erreurs de classification sûres
Choisir l’erreur absolue moyenne pour la prévision du prix de l’immobilier afin que quelques demeures extrêmes ne dominent pas la formation
Appliquer une perte de contraste pour qu'un modèle de reconnaissance faciale rassemble des images de la même personne
Concevoir un modèle de perte de récompense pour orienter un chatbot vers des réponses plus utiles et honnêtes
L'avenir des fonctions de perte
Objective design can combine prediction terms, regularization, and other task requirements. Comparisons should state the target definition, formula, reduction, units, and evaluation metric. An objective can decrease while an application metric remains unchanged or worsens, so improvement should be measured rather than inferred from training loss alone. Custom losses need examination of the behavior they encourage as well as their numerical and optimization properties.
Le mettre en pratique
Pourquoi c'est important
- Décisions plus claires. Il vous aide à séparer les affirmations techniques claires du langage marketing.
- Coût et budget. Vous pouvez poser de meilleures questions de mise en œuvre avant de dépenser de l'argent ou du temps.
- Équipe et flux de travail. Les équipes partageant une compréhension commune prennent de meilleures décisions en matière de produits, de politiques et d’apprentissage.
Attention à
- Différentes équipes peuvent utiliser le même terme différemment, alors définissez la portée dès le début.
- Les benchmarks peuvent paraître solides alors que les performances réelles sont inégales.
- Ignorer la qualité des données et les plans d’évaluation crée souvent des résultats fragiles.
Prochaines étapes
- Commencez par une définition en langage simple du résultat dont vous avez besoin.
- Choisissez une mesure de réussite et une condition d’échec avant de tester.
- Exécutez un petit pilote avec des données représentatives, pas un ensemble de démonstration raffiné.
- Documentez où les fonctions de perte sont utiles et où les méthodes plus simples sont meilleures.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Loss Functions quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu’est-ce que les fonctions de perte ?
A loss defines the objective used to assess predictions or another training target. Individual loss values are often combined into a scalar for optimization, and the chosen objective is a proxy that may differ from the application's evaluation metric.
For a prediction task, what does its selected loss quantify against the training target?
A loss defines a training objective; it does not automatically measure every aspect of application quality.
Quelle fonction de perte est la plus couramment utilisée pour les tâches de classification ?
L'entropie croisée compare les distributions de probabilité prédites aux véritables étiquettes et constitue le choix standard pour la classification.
Par rapport à l’erreur quadratique moyenne, pourquoi pourriez-vous choisir l’erreur absolue moyenne ?
L’erreur absolue moyenne traite toutes les erreurs proportionnellement plutôt que de les mettre au carré, de sorte que quelques valeurs aberrantes extrêmes ont moins d’influence.
Why does gradient-based training need a usable loss derivative or suitable substitute?
This concerns gradient-based training, not a claim that every possible learning algorithm requires a differentiable loss.
How does one-hot class cross-entropy change as probability assigned to the target class becomes very small?
The term minus log p grows as the target-class probability shrinks. This does not guarantee a particular gradient magnitude for every model weight.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet