GUIDA AI FONDAMENTALI

Funzioni di perdita

A loss defines the objective used to assess predictions or another training target.

Ascolta questa guidaNarrato dall'IA · ~3 min

In questa pagina3 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro delle funzioni di perdita
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

Individual loss values are often combined into a scalar for optimization, and the chosen objective is a proxy that may differ from the application's evaluation metric.

Immersione profonda

A prediction loss compares outputs with training targets according to a specified rule. Those targets can be labels or values constructed for the learning task; they should not automatically be called unquestionable truth. Implementations may produce per-example losses and then sum or average them for an optimization step. Choosing the rule matters. Mean squared error averages squared residuals, giving large residuals more influence than mean absolute error, which averages their absolute values. For residuals one and three, mean squared error is five, while mean absolute error is two. These are illustrative calculations rather than performance results from a dataset. Classification commonly uses cross-entropy. With a one-hot target and a predicted probability p for its class, the loss is minus log p. A lower probability for the target class gives a larger loss, so confident wrong predictions can incur high loss. The logarithm base determines the units: base-two loss is in bits, while a natural logarithm gives nats. For a target probability of one-quarter, minus log-base-two p is two bits. Gradient-based optimization needs usable derivative information, but differentiability requirements should not be generalized to every learning algorithm. Some losses have nondifferentiable points handled by an appropriate subgradient or surrogate. Accuracy is a discrete evaluation metric and is generally not directly useful as a gradient-training objective. A suitable training loss supplies an optimization signal; final task quality needs evaluation using the relevant metrics.

Implementazione nel mondo reale

Utilizzo della perdita di entropia incrociata per addestrare un classificatore di spam e-mail che penalizza le classificazioni errate sicure

Scegliere l'errore medio assoluto per la previsione del prezzo delle case in modo che alcune ville estreme non dominino la formazione

Applicando una perdita contrastiva in modo che un modello di riconoscimento facciale riunisca le immagini della stessa persona

Progettare un modello di ricompensa in perdita per indirizzare un chatbot verso risposte più utili e oneste

Il futuro delle funzioni di perdita

Objective design can combine prediction terms, regularization, and other task requirements. Comparisons should state the target definition, formula, reduction, units, and evaluation metric. An objective can decrease while an application metric remains unchanged or worsens, so improvement should be measured rather than inferred from training loss alone. Custom losses need examination of the behavior they encourage as well as their numerical and optimization properties.

Metterlo in pratica

Perché è importante

  • Decisioni più chiare. Ti aiuta a separare le chiare affermazioni tecniche dal linguaggio di marketing.
  • Costo e budget. Puoi porre domande sull'implementazione migliore prima di spendere denaro o tempo.
  • Team e flusso di lavoro. I team con una comprensione condivisa prendono decisioni migliori su prodotti, politiche e apprendimento.

Attenzione

  • Team diversi possono utilizzare lo stesso termine in modo diverso, quindi definisci l'ambito in anticipo.
  • I benchmark possono sembrare solidi mentre le prestazioni nel mondo reale non sono uniformi.
  • Ignorare la qualità dei dati e i piani di valutazione spesso crea risultati fragili.

Prossimi passi

  1. Inizia con una definizione in linguaggio semplice del risultato di cui hai bisogno.
  2. Scegli una metrica di successo e una condizione di fallimento prima del test.
  3. Esegui un piccolo progetto pilota con dati rappresentativi, non un set demo raffinato.
  4. Documenta dove le funzioni di perdita aiutano e dove i metodi più semplici sono migliori.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Loss Functions quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

What is Loss Functions?

A loss defines the objective used to assess predictions or another training target. Individual loss values are often combined into a scalar for optimization, and the chosen objective is a proxy that may differ from the application's evaluation metric.

For a prediction task, what does its selected loss quantify against the training target?

A loss defines a training objective; it does not automatically measure every aspect of application quality.

Quale funzione di perdita è più comunemente utilizzata per i compiti di classificazione?

L'entropia incrociata confronta le distribuzioni di probabilità previste con le etichette vere ed è la scelta standard per la classificazione.

Rispetto all'errore quadratico medio, perché potresti scegliere l'errore medio assoluto?

L'errore medio assoluto tratta tutti gli errori in modo proporzionale anziché elevarli al quadrato, quindi alcuni valori anomali estremi hanno meno influenza.

Why does gradient-based training need a usable loss derivative or suitable substitute?

This concerns gradient-based training, not a claim that every possible learning algorithm requires a differentiable loss.

How does one-hot class cross-entropy change as probability assigned to the target class becomes very small?

The term minus log p grows as the target-class probability shrinks. This does not guarantee a particular gradient magnitude for every model weight.