ΕπόμενοΕπόμενος οδηγός
Απώλεια τριπλής και μετρική εκμάθηση
Βασικές αρχές
ΟΔΗΓΟΣ Βασικών Αρχών
Λειτουργίες απώλειας
A loss defines the objective used to assess predictions or another training target.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~3 min
Σε αυτήν τη σελίδα3 λεπτά ανάγνωση
Επισκόπηση
Individual loss values are often combined into a scalar for optimization, and the chosen objective is a proxy that may differ from the application's evaluation metric.
Βαθιά κατάδυση
A prediction loss compares outputs with training targets according to a specified rule. Those targets can be labels or values constructed for the learning task; they should not automatically be called unquestionable truth. Implementations may produce per-example losses and then sum or average them for an optimization step. Choosing the rule matters. Mean squared error averages squared residuals, giving large residuals more influence than mean absolute error, which averages their absolute values. For residuals one and three, mean squared error is five, while mean absolute error is two. These are illustrative calculations rather than performance results from a dataset. Classification commonly uses cross-entropy. With a one-hot target and a predicted probability p for its class, the loss is minus log p. A lower probability for the target class gives a larger loss, so confident wrong predictions can incur high loss. The logarithm base determines the units: base-two loss is in bits, while a natural logarithm gives nats. For a target probability of one-quarter, minus log-base-two p is two bits. Gradient-based optimization needs usable derivative information, but differentiability requirements should not be generalized to every learning algorithm. Some losses have nondifferentiable points handled by an appropriate subgradient or surrogate. Accuracy is a discrete evaluation metric and is generally not directly useful as a gradient-training objective. A suitable training loss supplies an optimization signal; final task quality needs evaluation using the relevant metrics.
Υλοποίηση σε πραγματικό κόσμο
Χρήση απώλειας διασταυρούμενης εντροπίας για την εκπαίδευση ενός ταξινομητή ανεπιθύμητης αλληλογραφίας που τιμωρεί τις εσφαλμένες ταξινομήσεις
Επιλέγοντας το μέσο απόλυτο σφάλμα για την πρόβλεψη της τιμής του σπιτιού, ώστε μερικές ακραίες επαύλεις να μην κυριαρχούν στην εκπαίδευση
Εφαρμόζοντας μια απώλεια αντίθεσης ώστε ένα μοντέλο αναγνώρισης προσώπου να συγκεντρώνει εικόνες του ίδιου ατόμου
Σχεδιάζοντας μια απώλεια μοντέλου ανταμοιβής για να κατευθύνετε ένα chatbot προς πιο χρήσιμες και ειλικρινείς απαντήσεις
The Future of Loss Functions
Objective design can combine prediction terms, regularization, and other task requirements. Comparisons should state the target definition, formula, reduction, units, and evaluation metric. An objective can decrease while an application metric remains unchanged or worsens, so improvement should be measured rather than inferred from training loss alone. Custom losses need examination of the behavior they encourage as well as their numerical and optimization properties.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Σαφέστερες αποφάσεις. Σας βοηθά να διαχωρίσετε σαφείς τεχνικούς ισχυρισμούς από τη γλώσσα μάρκετινγκ.
- Κόστος και προϋπολογισμός. Μπορείτε να κάνετε καλύτερες ερωτήσεις εφαρμογής προτού ξοδέψετε χρήματα ή χρόνο.
- Ομάδα και ροή εργασίας. Οι ομάδες με κοινή κατανόηση λαμβάνουν καλύτερες αποφάσεις για προϊόντα, πολιτικές και μάθηση.
Προσέξτε
- Διαφορετικές ομάδες μπορεί να χρησιμοποιούν τον ίδιο όρο με διαφορετικό τρόπο, επομένως ορίστε το πεδίο εφαρμογής νωρίς.
- Τα σημεία αναφοράς μπορεί να φαίνονται ισχυρά ενώ η απόδοση στον πραγματικό κόσμο είναι άνιση.
- Η αγνόηση της ποιότητας των δεδομένων και των σχεδίων αξιολόγησης δημιουργεί συχνά εύθραυστα αποτελέσματα.
Επόμενα βήματα
- Ξεκινήστε με έναν ορισμό σε απλή γλώσσα του αποτελέσματος που χρειάζεστε.
- Επιλέξτε μία μέτρηση επιτυχίας και μία συνθήκη αποτυχίας πριν από τη δοκιμή.
- Εκτελέστε ένα μικρό πιλότο με αντιπροσωπευτικά δεδομένα, όχι ένα εκλεπτυσμένο σετ επίδειξης.
- Τεκμηριώστε πού βοηθούν οι λειτουργίες απώλειας και πού είναι καλύτερες οι απλούστερες μέθοδοι.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Loss Functions quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is Loss Functions?
A loss defines the objective used to assess predictions or another training target. Individual loss values are often combined into a scalar for optimization, and the chosen objective is a proxy that may differ from the application's evaluation metric.
For a prediction task, what does its selected loss quantify against the training target?
A loss defines a training objective; it does not automatically measure every aspect of application quality.
Ποια συνάρτηση απώλειας χρησιμοποιείται πιο συχνά για εργασίες ταξινόμησης;
Η διασταυρούμενη εντροπία συγκρίνει τις προβλεπόμενες κατανομές πιθανοτήτων με τις πραγματικές ετικέτες και είναι η τυπική επιλογή για ταξινόμηση.
Σε σύγκριση με το μέσο τετραγωνικό σφάλμα, γιατί μπορείτε να επιλέξετε το μέσο απόλυτο σφάλμα;
Το μέσο απόλυτο σφάλμα αντιμετωπίζει όλα τα σφάλματα αναλογικά αντί να τα τετραγωνίζει, επομένως μερικές ακραίες ακραίες τιμές έχουν μικρότερη επιρροή.
Why does gradient-based training need a usable loss derivative or suitable substitute?
This concerns gradient-based training, not a claim that every possible learning algorithm requires a differentiable loss.
How does one-hot class cross-entropy change as probability assigned to the target class becomes very small?
The term minus log p grows as the target-class probability shrinks. This does not guarantee a particular gradient magnitude for every model weight.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα