Test legat de ghid · Mediu Nivel

Test de scădere a greutății și regularizare L2

Testați penalizările L2, contracția spre zero, echivalența SGD, decuplarea AdamW, scalarea adaptivă și puterea de decădere la antrenament.

Căi de ghidare aferenteScăderea greutății și regularizarea L2
Întrebare 1 de 8

Ce adaugă regularizarea L2 la funcția de pierdere?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. Ce adaugă regularizarea L2 la funcția de pierdere?
    • Numărul de straturi din rețea
    • O penalizare pentru rata de învățare
    • Numărul de exemple de antrenament
    • O penalizare proporțională cu suma ponderilor pătrate
  2. Care este principala problemă pe care o ajută la prevenirea scăderii în greutate?
    • Încărcare lentă a datelor
    • Suprafitting, unde modelul memorează zgomotul în datele de antrenament
    • Defecțiuni hardware
    • Etichete incorecte
  3. În ce direcție scăderea greutății împinge greutățile modelului?
    • Spre infinit
    • Spre cea mai mare greutate
    • Spre zero
    • Spre valori aleatorii
  4. De ce a fost introdus AdamW?
    • Pentru a decupla scăderea greutății de actualizarea gradientului adaptiv, astfel încât scăderea se comportă corect
    • Pentru a elimina în întregime gradientul
    • Pentru a face antrenamentul mai lent intenționat
    • Pentru a elimina necesitatea unei rate de învățare
  5. Pentru o coborâre simplă a gradientului stocastic, cum se leagă regularizarea L2 și scăderea greutății?
    • Ele sunt întotdeauna opuse
    • Sunt echivalente din punct de vedere matematic
    • Scăderea greutății dezactivează gradientul
    • L2 funcționează numai pentru SGD cu impuls
  6. Ce controlează coeficientul lambda în regularizarea L2?
    • Dimensiunea lotului
    • Numărul de epoci
    • Funcția de activare
    • Forța pedepsei pe greutăți mari
  7. Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
    • Adaptive per-parameter gradient scaling can distort the coupled penalty
    • Adam cannot train with any regularization
    • The two methods use different training labels
    • Decoupled decay removes the data loss
  8. In a simple decoupled update, what changes the fractional shrinkage of a weight?
    • Only the number of classes
    • Only the model’s input dimension
    • The learning rate and decay coefficient together
    • Only the validation-set size