Gids-gekoppelde quiz · Middelmatig Niveau

Waarschijnlijkheidskalibratiequiz

Controleert kalibratiedefinities, betrouwbaarheidsdiagrammen, ECE, temperatuurschaling en waarom validatiekwaliteit verschilt van classificatienauwkeurigheid.

Gerelateerde gidspadenWaarschijnlijkheidskalibratie
Vraag 1 van 8

Een model is goed gekalibreerd als de gebeurtenis zich volgens de voorspellingen voor 80% zeker voordoet:

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Een model is goed gekalibreerd als de gebeurtenis zich volgens de voorspellingen voor 80% zeker voordoet:
    • Ongeveer 80% van de tijd
    • 100% van de tijd
    • Ongeveer 20% van de tijd
    • Precies één keer
  2. Wat doet temperatuurschaling met de output van een neuraal netwerk?
    • Verandert welke klasse wordt voorspeld
    • Verdeelt de logits door een geleerde scalair vóór softmax, waardoor het vertrouwen wordt aangepast
    • Voegt ruis toe aan de trainingslabels
    • Hertraint het netwerk vanaf nul
  3. Wat wordt in een betrouwbaarheidsdiagram weergegeven?
    • Trainingsverlies versus tijdperk
    • Modelgrootte versus nauwkeurigheid
    • Voorspelde waarschijnlijkheid versus waargenomen frequentie
    • Leersnelheid versus batchgrootte
  4. Maatregelen voor verwachte kalibratiefouten (ECE):
    • De top-1 nauwkeurigheid van het model
    • Het aantal parameters in het model
    • De variantie van de hellingen
    • De gewogen gemiddelde kloof tussen vertrouwen en nauwkeurigheid over verschillende bins heen
  5. Moderne diepe neurale netwerken worden meestal omschreven als:
    • Overmoedig
    • Weinig zelfvertrouwen
    • Standaard perfect gekalibreerd
    • Kan waarschijnlijkheden niet weergeven
  6. Waarom kan een zeer nauwkeurig model nog steeds gekalibreerd worden?
    • Nauwkeurige modellen hebben altijd een kalibratiefout van nul
    • Nauwkeurigheid en kalibratie zijn verschillende eigenschappen
    • Kalibratie is alleen van belang voor regressie
    • Nauwkeurigheid garandeert eerlijke waarschijnlijkheden
  7. On which data is temperature scaling typically fit in the guide’s calibration workflow?
    • The final test set using classification accuracy
    • Only the training labels without model outputs
    • A held-out validation set using negative log-likelihood
    • The model’s hidden weights using mean squared error
  8. Why can temperature scaling improve calibration without changing top-1 accuracy?
    • It changes the model’s predicted class labels randomly
    • It retrains the feature extractor
    • It replaces every logit with the same value
    • Dividing logits by a positive scalar changes confidence but preserves their ordering