গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর
গ্রেডিয়েন্ট ক্লিপিং কুইজ
ভিন্নভাবে ব্যক্তিগত প্রশিক্ষণে আদর্শ এবং মান ক্লিপিং, দিক সংরক্ষণ, বিস্ফোরণ-গ্রেডিয়েন্ট নিয়ন্ত্রণ এবং প্রতি-উদাহরণ ক্লিপিং পরীক্ষা করে।
প্রশ্ন 1 এর 8
আপডেট সীমিত করার সময় ক্লিপ-বাই-নর্ম গ্রেডিয়েন্ট ক্লিপিং প্রাথমিকভাবে কী সংরক্ষণ করে?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- আপডেট সীমিত করার সময় ক্লিপ-বাই-নর্ম গ্রেডিয়েন্ট ক্লিপিং প্রাথমিকভাবে কী সংরক্ষণ করে?
- সামগ্রিক গ্রেডিয়েন্ট আপডেটের দিক
- প্রতিটি গ্রেডিয়েন্টের সঠিক মাত্রা
- মডেল পরামিতি সংখ্যা
- শেখার হার সময়সূচী
- থ্রেশহোল্ড c সহ ক্লিপ-বাই-নর্মে, গ্রেডিয়েন্ট নর্ম g_norm c ছাড়িয়ে গেলে কী হবে?
- গ্রেডিয়েন্ট শূন্য সেট করা হয়
- প্রতিটি গ্রেডিয়েন্টকে c/g_norm দ্বারা গুণ করা হয়
- ট্রেনিং বন্ধ
- শেখার হার দ্বিগুণ হয়
- কোন সমস্যা গ্রেডিয়েন্ট ক্লিপিং বিশেষভাবে মোকাবেলা করার জন্য ডিজাইন করা হয়েছে?
- অদৃশ্য গ্রেডিয়েন্ট
- ধীরগতির ডেটা লোড হচ্ছে
- বিস্ফোরণ গ্রেডিয়েন্ট
- বৈধতা সেট overfitting
- ক্লিপ-বাই-মান কীভাবে ক্লিপ-বাই-নর্ম থেকে আলাদা?
- এটা সবসময় আপডেট দিক সংরক্ষণ করে
- এটি শুধুমাত্র convolutional লেয়ারে কাজ করে
- এটি গ্রেডিয়েন্টগুলি সম্পূর্ণরূপে সরিয়ে দেয়
- এটি প্রতিটি গ্রেডিয়েন্ট উপাদানকে একটি পরিসরে স্বাধীনভাবে আটকে দেয়, যা দিক পরিবর্তন করতে পারে
- A minibatch produces an unusually large global gradient norm. What does clip-by-norm do before the optimizer update?
- Scales the full gradient vector down to the configured threshold when the norm exceeds it
- Changes the model’s labels
- Drops every gradient component independently
- Increases the learning rate until the loss recovers
- ডিফারেনশিয়ালি প্রাইভেট ট্রেনিংয়ে (DP-SGD), প্রতি-উদাহরণ গ্রেডিয়েন্ট ক্লিপিং কী ভূমিকা পালন করে?
- এটি ডেটা এনক্রিপ্ট করে
- এটি প্রতিটি উদাহরণের প্রভাবকে আবদ্ধ করে তাই ক্যালিব্রেট করা শব্দ গোপনীয়তার গ্যারান্টি দিতে পারে
- এটি ব্যাচের আকার বাড়ায়
- এটি একটি ক্ষতি ফাংশন জন্য প্রয়োজন অপসারণ
- The global gradient norm is twice a clipping threshold c. By what factor is the gradient scaled?
- দুই
- One quarter
- One half (c divided by 2c)
- It is left unchanged
- Why does DP-SGD clip each example’s gradient before adding calibrated noise?
- To make all examples have the same label
- To remove the need for a privacy budget
- To increase the norm of rare-class gradients
- To bound an individual example’s influence on the released update