گائیڈ سے منسلک کوئز · درمیانہ سطح
گریڈینٹ کلپنگ کوئز
امتیازی طور پر نجی تربیت میں معیار اور قدر کی کلپنگ، سمت کا تحفظ، ایکسپلوڈنگ گریڈینٹ کنٹرول اور فی مثال کلپنگ چیک کرتا ہے۔
سوال 1 کی 8
اپ ڈیٹ کو محدود کرتے ہوئے کلپ بہ نارمل گریڈینٹ کلپنگ بنیادی طور پر کیا محفوظ رکھتی ہے؟
ہر سوال کا جائزہ لیں۔8 سوالات
جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔
- اپ ڈیٹ کو محدود کرتے ہوئے کلپ بہ نارمل گریڈینٹ کلپنگ بنیادی طور پر کیا محفوظ رکھتی ہے؟
- مجموعی گریڈینٹ اپ ڈیٹ کی سمت
- ہر میلان کی عین وسعت
- ماڈل پیرامیٹرز کی تعداد
- سیکھنے کی شرح کا شیڈول
- تھریشولڈ c کے ساتھ کلپ بہ نارم میں، کیا ہوتا ہے جب گریڈینٹ نارم g_norm c سے بڑھ جاتا ہے؟
- گریڈینٹس صفر پر سیٹ ہیں۔
- ہر گریڈینٹ کو c/g_norm سے ضرب دیا جاتا ہے۔
- تربیت رک جاتی ہے۔
- سیکھنے کی شرح دوگنی ہے۔
- تدریجی تراشہ کس مسئلے سے نمٹنے کے لیے خاص طور پر ڈیزائن کیا گیا ہے؟
- غائب ہونے والے میلان
- سست ڈیٹا لوڈنگ
- پھٹنے والے میلان
- توثیق کے سیٹ پر اوور فٹنگ
- کلپ بہ قدر کلپ بہ معمول سے کیسے مختلف ہے؟
- یہ ہمیشہ اپ ڈیٹ کی سمت کو محفوظ رکھتا ہے۔
- یہ صرف convolutional تہوں پر کام کرتا ہے۔
- یہ میلان کو مکمل طور پر ہٹاتا ہے۔
- یہ ہر میلان جزو کو آزادانہ طور پر ایک رینج میں بند کرتا ہے، جو سمت بدل سکتا ہے۔
- A minibatch produces an unusually large global gradient norm. What does clip-by-norm do before the optimizer update?
- Scales the full gradient vector down to the configured threshold when the norm exceeds it
- Changes the model’s labels
- Drops every gradient component independently
- Increases the learning rate until the loss recovers
- امتیازی طور پر نجی تربیت (DP-SGD) میں، فی مثال گریڈینٹ کلپنگ کیا کردار ادا کرتی ہے؟
- یہ ڈیٹا کو خفیہ کرتا ہے۔
- یہ ہر مثال کے اثر کو پابند کرتا ہے لہذا کیلیبریٹڈ شور رازداری کی ضمانت دے سکتا ہے۔
- یہ بیچ کا سائز بڑھاتا ہے۔
- یہ نقصان کے فنکشن کی ضرورت کو دور کرتا ہے۔
- The global gradient norm is twice a clipping threshold c. By what factor is the gradient scaled?
- دو
- One quarter
- One half (c divided by 2c)
- It is left unchanged
- Why does DP-SGD clip each example’s gradient before adding calibrated noise?
- To make all examples have the same label
- To remove the need for a privacy budget
- To increase the norm of rare-class gradients
- To bound an individual example’s influence on the released update