Kvíz spojený s průvodcem · Střední úroveň
Vyhlazovací kvíz štítků
Zahrnuje vyhlazené cíle a epsilon, kalibrační efekty závislé na úloze, kompromisy při destilaci a proč výsledky závisí na datech a cíli.
Otázka 1 z 8
Co mění vyhlazování štítků na tréninkových cílech?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co mění vyhlazování štítků na tréninkových cílech?
- Změkčuje jedno horké cíle, takže skutečná třída je pod 1,0 a ostatní jsou mírně nad 0
- Odstraňuje ztrátovou funkci
- Vymaže nesprávné třídy
- Zdvojnásobuje rychlost učení
- Běžná hodnota pro parametr vyhlazování epsilon je:
- 0,9
- 0,1
- 5,0
- 0,0
- What is one intended effect of replacing hard one-hot targets with smoothed targets?
- Force every class to have equal probability
- Guarantee the largest possible logit for the true class
- Avoid requiring the labeled class to receive a target probability of exactly one
- Remove the need for labeled training data
- Which landmark architectures are prominent examples of label-smoothing use?
- AlexNet and LeNet only
- ResNet-50 and VGG only
- AlphaGo a AlphaZero
- Inception-v3 a Transformer
- What can label smoothing do to calibration?
- It can improve calibration in some settings, but the effect is task- and model-dependent
- It guarantees perfect calibration for every classifier
- It cannot affect predicted probabilities
- It always makes confidence equal accuracy
- Jaká je zdokumentovaná nevýhoda vyhlazování štítků?
- Vždy to snižuje přesnost
- Může to vymazat jemnou podobnost mezi třídami, což poškozuje destilaci znalostí
- Vyžaduje dvojnásobek tréninkových dat
- Funguje pouze na text
- Why can label smoothing complicate knowledge distillation?
- It converts every class label into an image
- It forces the student to use a different tokenizer
- It can remove information in logits about similarities among incorrect classes
- It prevents the teacher from producing logits
- What should a practitioner verify when comparing label-smoothing implementations?
- Whether the model has a web browser
- Whether training uses a validation filename
- Whether logits are stored as text
- Whether epsilon is distributed over all classes or only the non-target classes