Quiz połączony z przewodnikiem · Średni Poziom

Quiz dotyczący kalibracji prawdopodobieństwa

Sprawdza definicje kalibracji, diagramy niezawodności, ECE, skalowanie temperatury i dlaczego jakość walidacji różni się od dokładności klasyfikacji.

Powiązane ścieżki prowadząceKalibracja prawdopodobieństwa
Pytanie 1 z 8

Model jest dobrze skalibrowany, jeśli wśród przewidywań, które określa jako pewne na poziomie 80%, zdarzenie ma miejsce:

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. Model jest dobrze skalibrowany, jeśli wśród przewidywań, które określa jako pewne na poziomie 80%, zdarzenie ma miejsce:
    • Około 80% czasu
    • W 100% przypadków
    • Około 20% czasu
    • Dokładnie raz
  2. Co skalowanie temperatury robi z wyjściami sieci neuronowej?
    • Zmienia przewidywaną klasę
    • Dzieli logity przez wyuczony skalar przed softmaxem, dostosowując pewność
    • Dodaje szum do etykiet szkoleniowych
    • Uczy sieć od zera
  3. Co przedstawia diagram niezawodności?
    • Straty szkoleniowe a epoka
    • Rozmiar modelu a dokładność
    • Przewidywane prawdopodobieństwo a obserwowana częstotliwość
    • Szybkość uczenia się a wielkość partii
  4. Pomiary oczekiwanego błędu kalibracji (ECE):
    • Dokładność modelu na najwyższym poziomie
    • Liczba parametrów w modelu
    • Wariancja gradientów
    • Średnia ważona różnica między pewnością a dokładnością w poszczególnych przedziałach
  5. Nowoczesne głębokie sieci neuronowe najczęściej opisywane są jako:
    • Zbyt pewny siebie
    • Niedostatecznie pewny
    • Domyślnie idealnie skalibrowany
    • Nie można wyprowadzić prawdopodobieństw
  6. Dlaczego bardzo dokładny model może nadal wymagać kalibracji?
    • Dokładne modele zawsze mają zerowy błąd kalibracji
    • Dokładność i kalibracja to odrębne właściwości
    • Kalibracja ma znaczenie tylko w przypadku regresji
    • Dokładność gwarantuje uczciwe prawdopodobieństwo
  7. On which data is temperature scaling typically fit in the guide’s calibration workflow?
    • The final test set using classification accuracy
    • Only the training labels without model outputs
    • A held-out validation set using negative log-likelihood
    • The model’s hidden weights using mean squared error
  8. Why can temperature scaling improve calibration without changing top-1 accuracy?
    • It changes the model’s predicted class labels randomly
    • It retrains the feature extractor
    • It replaces every logit with the same value
    • Dividing logits by a positive scalar changes confidence but preserves their ordering