Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ βαθμονόμησης πιθανοτήτων

Ελέγχει τους ορισμούς βαθμονόμησης, τα διαγράμματα αξιοπιστίας, την ECE, την κλίμακα θερμοκρασίας και γιατί η ποιότητα επικύρωσης διαφέρει από την ακρίβεια ταξινόμησης.

Σχετικές διαδρομές οδηγώνΒαθμονόμηση πιθανοτήτων
Ερώτηση 1 του 8

Ένα μοντέλο είναι καλά βαθμονομημένο εάν, μεταξύ των προβλέψεων που χαρακτηρίζει 80% σιγουριά, το γεγονός συμβαίνει:

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Ένα μοντέλο είναι καλά βαθμονομημένο εάν, μεταξύ των προβλέψεων που χαρακτηρίζει 80% σιγουριά, το γεγονός συμβαίνει:
    • Περίπου το 80% των περιπτώσεων
    • 100% του χρόνου
    • Περίπου το 20% των περιπτώσεων
    • Ακριβώς μια φορά
  2. Τι κάνει η κλιμάκωση θερμοκρασίας στις εξόδους ενός νευρωνικού δικτύου;
    • Αλλάζει ποια κατηγορία προβλέπεται
    • Διαιρεί τα logit με έναν εκμαθημένο βαθμωτή πριν από το softmax, προσαρμόζοντας την εμπιστοσύνη
    • Προσθέτει θόρυβο στις ετικέτες εκπαίδευσης
    • Επανεκπαιδεύει το δίκτυο από την αρχή
  3. Τι σχεδιάζει ένα διάγραμμα αξιοπιστίας;
    • Απώλεια προπόνησης σε σχέση με την εποχή
    • Μέγεθος μοντέλου σε σχέση με την ακρίβεια
    • Προβλεπόμενη πιθανότητα έναντι παρατηρούμενης συχνότητας
    • Ποσοστό μάθησης σε σχέση με το μέγεθος παρτίδας
  4. Μέτρα αναμενόμενου σφάλματος βαθμονόμησης (ECE):
    • Η κορυφαία ακρίβεια του μοντέλου
    • Ο αριθμός των παραμέτρων στο μοντέλο
    • Η διακύμανση των κλίσεων
    • Το σταθμισμένο μέσο χάσμα μεταξύ εμπιστοσύνης και ακρίβειας μεταξύ των κάδων
  5. Τα σύγχρονα βαθιά νευρωνικά δίκτυα περιγράφονται συχνότερα ως:
    • Υπερβολική αυτοπεποίθηση
    • Ελλιπής αυτοπεποίθηση
    • Τέλεια βαθμονομημένη από προεπιλογή
    • Δεν είναι δυνατή η έξοδος πιθανοτήτων
  6. Γιατί μπορεί ένα μοντέλο υψηλής ακρίβειας να χρειάζεται ακόμα βαθμονόμηση;
    • Τα ακριβή μοντέλα έχουν πάντα μηδενικό σφάλμα βαθμονόμησης
    • Η ακρίβεια και η βαθμονόμηση είναι ξεχωριστές ιδιότητες
    • Η βαθμονόμηση έχει σημασία μόνο για παλινδρόμηση
    • Η ακρίβεια εγγυάται ειλικρινείς πιθανότητες
  7. On which data is temperature scaling typically fit in the guide’s calibration workflow?
    • The final test set using classification accuracy
    • Only the training labels without model outputs
    • A held-out validation set using negative log-likelihood
    • The model’s hidden weights using mean squared error
  8. Why can temperature scaling improve calibration without changing top-1 accuracy?
    • It changes the model’s predicted class labels randomly
    • It retrains the feature extractor
    • It replaces every logit with the same value
    • Dividing logits by a positive scalar changes confidence but preserves their ordering