Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Valószínűség-kalibrációs kvíz

Checks calibration definitions, reliability diagrams, ECE, temperature scaling and why validation quality is distinct from classification accuracy.

Kapcsolódó útmutató utakValószínűség-kalibrálás
kérdés 1 -ból 8

Egy modell jól kalibrált, ha az előrejelzések között 80%-ban magabiztosnak minősíti, a következő esemény következik be:

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Egy modell jól kalibrált, ha az előrejelzések között 80%-ban magabiztosnak minősíti, a következő esemény következik be:
    • Az esetek körülbelül 80%-ában
    • 100%-ban
    • Az esetek körülbelül 20%-ában
    • Pontosan egyszer
  2. Mit tesz a hőmérséklet-skálázás a neurális hálózat kimeneteivel?
    • Megváltoztatja, hogy melyik osztály várható
    • A logitokat elosztja egy tanult skalárral a softmax előtt, ezzel korrigálja a bizalmat
    • Zajt ad az edzéscímkékhez
    • Újra betanítja a hálózatot a semmiből
  3. Mit ábrázol egy megbízhatósági diagram?
    • Edzésveszteség versus korszak
    • A modell mérete kontra pontosság
    • Megjósolt valószínűség versus megfigyelt gyakoriság
    • Tanulási sebesség a köteg méretével szemben
  4. Várható kalibrációs hiba (ECE) intézkedések:
    • A modell legjobb 1 pontossága
    • A modellben szereplő paraméterek száma
    • A színátmenetek szórása
    • A súlyozott átlagos eltérés a megbízhatóság és a pontosság között a tárolókban
  5. A modern mély neurális hálózatokat leggyakrabban a következőképpen írják le:
    • Túlságosan magabiztos
    • Nem magabiztos
    • Alapértelmezés szerint tökéletesen kalibrálva
    • Nem lehet a valószínűségeket kiadni
  6. Miért kell még mindig kalibrálni egy nagyon pontos modellt?
    • A pontos modellek mindig nulla kalibrációs hibával rendelkeznek
    • A pontosság és a kalibráció különálló tulajdonságok
    • A kalibráció csak a regresszió szempontjából számít
    • A pontosság garantálja az őszinte valószínűségeket
  7. On which data is temperature scaling typically fit in the guide’s calibration workflow?
    • The final test set using classification accuracy
    • Only the training labels without model outputs
    • A held-out validation set using negative log-likelihood
    • The model’s hidden weights using mean squared error
  8. Why can temperature scaling improve calibration without changing top-1 accuracy?
    • It changes the model’s predicted class labels randomly
    • It retrains the feature extractor
    • It replaces every logit with the same value
    • Dividing logits by a positive scalar changes confidence but preserves their ordering