Gids-gekoppelde quiz · Middelmatig Niveau
Quiz voor verloopknippen
Controleert norm- en waardeclipping, richtingsbehoud, explosiegradiëntcontrole en bijvoorbeeld clipping in differentieel privétraining.
Vraag 1 van 8
Wat blijft er vooral behouden bij clip-by-norm gradiëntknippen terwijl de update wordt beperkt?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat blijft er vooral behouden bij clip-by-norm gradiëntknippen terwijl de update wordt beperkt?
- De richting van de algehele verloopupdate
- De exacte grootte van elke gradiënt
- Het aantal modelparameters
- Het leersnelheidschema
- Wat gebeurt er bij clip-by-norm met drempel c als de gradiëntnorm g_norm c overschrijdt?
- Verlopen zijn ingesteld op nul
- Elke gradiënt wordt vermenigvuldigd met c / g_norm
- De trainingen stoppen
- Het leerpercentage wordt verdubbeld
- Welk probleem moet gradiëntclipping specifiek bestrijden?
- Verdwijnende gradiënten
- Langzaam laden van gegevens
- Exploderende gradiënten
- Overfitting op de validatieset
- Hoe verschilt clip-by-value van clip-by-norm?
- Het behoudt altijd de updaterichting
- Het werkt alleen op convolutionele lagen
- Het verwijdert verlopen volledig
- Het klemt elke gradiëntcomponent onafhankelijk in een bereik, waardoor de richting kan veranderen
- A minibatch produces an unusually large global gradient norm. What does clip-by-norm do before the optimizer update?
- Scales the full gradient vector down to the configured threshold when the norm exceeds it
- Changes the model’s labels
- Drops every gradient component independently
- Increases the learning rate until the loss recovers
- Welke rol speelt bij differentieel privétraining (DP-SGD) bijvoorbeeld gradiëntclipping?
- Het codeert de gegevens
- Het beperkt de invloed van elk voorbeeld, zodat gekalibreerde ruis de privacy kan garanderen
- Het vergroot de batchgrootte
- Het elimineert de noodzaak van een verliesfunctie
- The global gradient norm is twice a clipping threshold c. By what factor is the gradient scaled?
- Twee
- One quarter
- One half (c divided by 2c)
- It is left unchanged
- Why does DP-SGD clip each example’s gradient before adding calibrated noise?
- To make all examples have the same label
- To remove the need for a privacy budget
- To increase the norm of rare-class gradients
- To bound an individual example’s influence on the released update