LegközelebbKövetkező útmutató
Hármas veszteség és metrikus tanulás
Alapok
Alapok ÚTMUTATÓ
A loss defines the objective used to assess predictions or another training target.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Individual loss values are often combined into a scalar for optimization, and the chosen objective is a proxy that may differ from the application's evaluation metric.
A prediction loss compares outputs with training targets according to a specified rule. Those targets can be labels or values constructed for the learning task; they should not automatically be called unquestionable truth. Implementations may produce per-example losses and then sum or average them for an optimization step. Choosing the rule matters. Mean squared error averages squared residuals, giving large residuals more influence than mean absolute error, which averages their absolute values. For residuals one and three, mean squared error is five, while mean absolute error is two. These are illustrative calculations rather than performance results from a dataset. Classification commonly uses cross-entropy. With a one-hot target and a predicted probability p for its class, the loss is minus log p. A lower probability for the target class gives a larger loss, so confident wrong predictions can incur high loss. The logarithm base determines the units: base-two loss is in bits, while a natural logarithm gives nats. For a target probability of one-quarter, minus log-base-two p is two bits. Gradient-based optimization needs usable derivative information, but differentiability requirements should not be generalized to every learning algorithm. Some losses have nondifferentiable points handled by an appropriate subgradient or surrogate. Accuracy is a discrete evaluation metric and is generally not directly useful as a gradient-training objective. A suitable training loss supplies an optimization signal; final task quality needs evaluation using the relevant metrics.
A keresztentrópia elvesztése egy e-mail spam osztályozó betanítására, amely bünteti a magabiztos téves besorolást
Az átlagos abszolút hiba kiválasztása a lakásárak előrejelzéséhez, így néhány extrém kastély nem uralja a képzést
Kontrasztív veszteség alkalmazása, így az arcfelismerő modell ugyanarról a személyről gyűjti össze a képeket
Jutalommodell-veszteség kialakítása, hogy a chatbotot segítőkészebb és őszintébb válaszok felé terelje
Objective design can combine prediction terms, regularization, and other task requirements. Comparisons should state the target definition, formula, reduction, units, and evaluation metric. An objective can decrease while an application metric remains unchanged or worsens, so improvement should be measured rather than inferred from training loss alone. Custom losses need examination of the behavior they encourage as well as their numerical and optimization properties.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A loss defines the objective used to assess predictions or another training target. Individual loss values are often combined into a scalar for optimization, and the chosen objective is a proxy that may differ from the application's evaluation metric.
A loss defines a training objective; it does not automatically measure every aspect of application quality.
A keresztentrópia összehasonlítja a megjósolt valószínűségi eloszlásokat a valódi címkékkel, és ez a standard választás az osztályozáshoz.
Az átlagos abszolút hiba az összes hibát arányosan kezeli, nem pedig négyzetre emeli, így néhány szélsőséges kiugró értéknek kisebb a befolyása.
This concerns gradient-based training, not a claim that every possible learning algorithm requires a differentiable loss.
The term minus log p grows as the target-class probability shrinks. This does not guarantee a particular gradient magnitude for every model weight.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Hármas veszteség és metrikus tanulás
Alapok