Kvíz spojený s průvodcem · Střední úroveň

Pravděpodobnostní kalibrační kvíz

Kontroluje definice kalibrace, diagramy spolehlivosti, ECE, teplotní škálování a proč se kvalita validace liší od přesnosti klasifikace.

Související vodicí cestyKalibrace pravděpodobnosti
Otázka 1 z 8

Model je dobře zkalibrován, pokud mezi předpověďmi, které označuje 80% spolehlivost, dojde k události:

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Model je dobře zkalibrován, pokud mezi předpověďmi, které označuje 80% spolehlivost, dojde k události:
    • Asi 80 % času
    • 100% času
    • Asi 20 % času
    • Přesně jednou
  2. Co dělá teplotní škálování s výstupy neuronové sítě?
    • Změní, která třída je předpovězena
    • Rozdělí logity naučeným skalárem před softmaxem, upraví spolehlivost
    • Přidá hluk do tréninkových štítků
    • Rekvalifikuje síť od nuly
  3. Co vykresluje diagram spolehlivosti?
    • Tréninková ztráta versus epocha
    • Velikost modelu versus přesnost
    • Předpokládaná pravděpodobnost versus pozorovaná frekvence
    • Rychlost učení versus velikost dávky
  4. Opatření očekávané chyby kalibrace (ECE):
    • Nejvyšší přesnost modelu
    • Počet parametrů v modelu
    • Rozptyl gradientů
    • Vážená průměrná mezera mezi spolehlivostí a přesností napříč zásobníky
  5. Moderní hluboké neuronové sítě jsou nejčastěji popisovány jako:
    • Přehnaně sebevědomý
    • Nedůvěřivý
    • Ve výchozím nastavení dokonale zkalibrováno
    • Nelze zobrazit pravděpodobnosti
  6. Proč může vysoce přesný model stále potřebovat kalibraci?
    • Přesné modely mají vždy nulovou chybu kalibrace
    • Přesnost a kalibrace jsou odlišné vlastnosti
    • Kalibrace má význam pouze pro regresi
    • Přesnost zaručuje poctivé pravděpodobnosti
  7. Na jakých datech se v kalibračním workflow průvodce obvykle provádí škálování teploty (temperature scaling)?
    • Na finální testovací sadě pomocí přesnosti klasifikace
    • Pouze na trénovacích labelech bez výstupů modelu
    • Na vyčleněné validační sadě pomocí negativní logaritmické věrohodnosti (negative log-likelihood)
    • Na skrytých vahách modelu pomocí střední kvadratické chyby
  8. Proč může škálování teploty zlepšit kalibraci, aniž by se změnila přesnost top-1?
    • Náhodně mění predikované třídy modelu
    • Provádí dotrénování extraktoru příznaků
    • Nahrazuje každý logit stejnou hodnotou
    • Vydělení logitů kladným skalárem změní konfidenci, ale zachová jejich pořadí