Gids-gekoppelde quiz · Middelmatig Niveau

Quiz voor verloopknippen

Controleert norm- en waardeclipping, richtingsbehoud, explosiegradiëntcontrole en bijvoorbeeld clipping in differentieel privétraining.

Gerelateerde gidspadenVerloop knippen
Vraag 1 van 8

Wat blijft er vooral behouden bij clip-by-norm gradiëntknippen terwijl de update wordt beperkt?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat blijft er vooral behouden bij clip-by-norm gradiëntknippen terwijl de update wordt beperkt?
    • De richting van de algehele verloopupdate
    • De exacte grootte van elke gradiënt
    • Het aantal modelparameters
    • Het leersnelheidschema
  2. Wat gebeurt er bij clip-by-norm met drempel c als de gradiëntnorm g_norm c overschrijdt?
    • Verlopen zijn ingesteld op nul
    • Elke gradiënt wordt vermenigvuldigd met c / g_norm
    • De trainingen stoppen
    • Het leerpercentage wordt verdubbeld
  3. Welk probleem moet gradiëntclipping specifiek bestrijden?
    • Verdwijnende gradiënten
    • Langzaam laden van gegevens
    • Exploderende gradiënten
    • Overfitting op de validatieset
  4. Hoe verschilt clip-by-value van clip-by-norm?
    • Het behoudt altijd de updaterichting
    • Het werkt alleen op convolutionele lagen
    • Het verwijdert verlopen volledig
    • Het klemt elke gradiëntcomponent onafhankelijk in een bereik, waardoor de richting kan veranderen
  5. A minibatch produces an unusually large global gradient norm. What does clip-by-norm do before the optimizer update?
    • Scales the full gradient vector down to the configured threshold when the norm exceeds it
    • Changes the model’s labels
    • Drops every gradient component independently
    • Increases the learning rate until the loss recovers
  6. Welke rol speelt bij differentieel privétraining (DP-SGD) bijvoorbeeld gradiëntclipping?
    • Het codeert de gegevens
    • Het beperkt de invloed van elk voorbeeld, zodat gekalibreerde ruis de privacy kan garanderen
    • Het vergroot de batchgrootte
    • Het elimineert de noodzaak van een verliesfunctie
  7. The global gradient norm is twice a clipping threshold c. By what factor is the gradient scaled?
    • Twee
    • One quarter
    • One half (c divided by 2c)
    • It is left unchanged
  8. Why does DP-SGD clip each example’s gradient before adding calibrated noise?
    • To make all examples have the same label
    • To remove the need for a privacy budget
    • To increase the norm of rare-class gradients
    • To bound an individual example’s influence on the released update