NastępnyNastępny poradnik
Strata trójek i uczenie się metryk
Podstawy
PODSTAWOWY PRZEWODNIK
Funkcje straty
A loss defines the objective used to assess predictions or another training target.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~3 min
Na tej stronie3 minuty czytania
Przegląd
Individual loss values are often combined into a scalar for optimization, and the chosen objective is a proxy that may differ from the application's evaluation metric.
Głębokie nurkowanie
A prediction loss compares outputs with training targets according to a specified rule. Those targets can be labels or values constructed for the learning task; they should not automatically be called unquestionable truth. Implementations may produce per-example losses and then sum or average them for an optimization step. Choosing the rule matters. Mean squared error averages squared residuals, giving large residuals more influence than mean absolute error, which averages their absolute values. For residuals one and three, mean squared error is five, while mean absolute error is two. These are illustrative calculations rather than performance results from a dataset. Classification commonly uses cross-entropy. With a one-hot target and a predicted probability p for its class, the loss is minus log p. A lower probability for the target class gives a larger loss, so confident wrong predictions can incur high loss. The logarithm base determines the units: base-two loss is in bits, while a natural logarithm gives nats. For a target probability of one-quarter, minus log-base-two p is two bits. Gradient-based optimization needs usable derivative information, but differentiability requirements should not be generalized to every learning algorithm. Some losses have nondifferentiable points handled by an appropriate subgradient or surrogate. Accuracy is a discrete evaluation metric and is generally not directly useful as a gradient-training objective. A suitable training loss supplies an optimization signal; final task quality needs evaluation using the relevant metrics.
Implementacja w świecie rzeczywistym
Wykorzystanie utraty entropii krzyżowej do wytrenowania klasyfikatora spamu e-mailowego, który karze pewne błędne klasyfikacje
Wybierając średni błąd bezwzględny do przewidywania cen domów, tak aby kilka ekstremalnych rezydencji nie dominowało w szkoleniu
Zastosowanie straty kontrastowej, aby model rozpoznawania twarzy zebrał obrazy tej samej osoby
Zaprojektuj stratę w modelu nagrody, aby skierować chatbota w stronę bardziej pomocnych i uczciwych odpowiedzi
Przyszłość funkcji straty
Objective design can combine prediction terms, regularization, and other task requirements. Comparisons should state the target definition, formula, reduction, units, and evaluation metric. An objective can decrease while an application metric remains unchanged or worsens, so improvement should be measured rather than inferred from training loss alone. Custom losses need examination of the behavior they encourage as well as their numerical and optimization properties.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Jaśniejsze decyzje. Pomaga oddzielić jasne twierdzenia techniczne od języka marketingowego.
- Koszt i budżet. Możesz zadawać pytania dotyczące lepszego wdrożenia, zanim wydasz pieniądze lub czas.
- Zespół i przepływ pracy. Zespoły charakteryzujące się wspólnym zrozumieniem podejmują lepsze decyzje dotyczące produktów, zasad i uczenia się.
Uważaj na
- Różne zespoły mogą odmiennie używać tego samego terminu, dlatego należy wcześniej zdefiniować zakres.
- Testy porównawcze mogą wyglądać dobrze, podczas gdy wydajność w świecie rzeczywistym jest nierówna.
- Ignorowanie planów dotyczących jakości danych i oceny często skutkuje kruchymi wynikami.
Kolejne kroki
- Zacznij od jasnej definicji potrzebnego wyniku.
- Przed testowaniem wybierz jedną metrykę sukcesu i jeden warunek niepowodzenia.
- Przeprowadź mały pilotaż z reprezentatywnymi danymi, a nie dopracowanym zestawem demonstracyjnym.
- Dokumentuj, gdzie pomagają funkcje straty i gdzie prostsze metody są lepsze.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Loss Functions quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
What is Loss Functions?
A loss defines the objective used to assess predictions or another training target. Individual loss values are often combined into a scalar for optimization, and the chosen objective is a proxy that may differ from the application's evaluation metric.
For a prediction task, what does its selected loss quantify against the training target?
A loss defines a training objective; it does not automatically measure every aspect of application quality.
Która funkcja straty jest najczęściej używana w zadaniach klasyfikacyjnych?
Entropia krzyżowa porównuje przewidywane rozkłady prawdopodobieństwa z prawdziwymi etykietami i jest standardowym wyborem przy klasyfikacji.
Dlaczego w porównaniu do błędu średniokwadratowego można wybrać średni błąd bezwzględny?
Średni błąd bezwzględny traktuje wszystkie błędy proporcjonalnie, a nie podnosząc je do kwadratu, więc kilka skrajnych wartości odstających ma mniejszy wpływ.
Why does gradient-based training need a usable loss derivative or suitable substitute?
This concerns gradient-based training, not a claim that every possible learning algorithm requires a differentiable loss.
How does one-hot class cross-entropy change as probability assigned to the target class becomes very small?
The term minus log p grows as the target-class probability shrinks. This does not guarantee a particular gradient magnitude for every model weight.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat