গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর

গ্রেডিয়েন্ট ক্লিপিং কুইজ

ভিন্নভাবে ব্যক্তিগত প্রশিক্ষণে আদর্শ এবং মান ক্লিপিং, দিক সংরক্ষণ, বিস্ফোরণ-গ্রেডিয়েন্ট নিয়ন্ত্রণ এবং প্রতি-উদাহরণ ক্লিপিং পরীক্ষা করে।

সম্পর্কিত গাইড পাথগ্রেডিয়েন্ট ক্লিপিং
প্রশ্ন 1 এর 8

আপডেট সীমিত করার সময় ক্লিপ-বাই-নর্ম গ্রেডিয়েন্ট ক্লিপিং প্রাথমিকভাবে কী সংরক্ষণ করে?

প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

  1. আপডেট সীমিত করার সময় ক্লিপ-বাই-নর্ম গ্রেডিয়েন্ট ক্লিপিং প্রাথমিকভাবে কী সংরক্ষণ করে?
    • সামগ্রিক গ্রেডিয়েন্ট আপডেটের দিক
    • প্রতিটি গ্রেডিয়েন্টের সঠিক মাত্রা
    • মডেল পরামিতি সংখ্যা
    • শেখার হার সময়সূচী
  2. থ্রেশহোল্ড c সহ ক্লিপ-বাই-নর্মে, গ্রেডিয়েন্ট নর্ম g_norm c ছাড়িয়ে গেলে কী হবে?
    • গ্রেডিয়েন্ট শূন্য সেট করা হয়
    • প্রতিটি গ্রেডিয়েন্টকে c/g_norm দ্বারা গুণ করা হয়
    • ট্রেনিং বন্ধ
    • শেখার হার দ্বিগুণ হয়
  3. কোন সমস্যা গ্রেডিয়েন্ট ক্লিপিং বিশেষভাবে মোকাবেলা করার জন্য ডিজাইন করা হয়েছে?
    • অদৃশ্য গ্রেডিয়েন্ট
    • ধীরগতির ডেটা লোড হচ্ছে
    • বিস্ফোরণ গ্রেডিয়েন্ট
    • বৈধতা সেট overfitting
  4. ক্লিপ-বাই-মান কীভাবে ক্লিপ-বাই-নর্ম থেকে আলাদা?
    • এটা সবসময় আপডেট দিক সংরক্ষণ করে
    • এটি শুধুমাত্র convolutional লেয়ারে কাজ করে
    • এটি গ্রেডিয়েন্টগুলি সম্পূর্ণরূপে সরিয়ে দেয়
    • এটি প্রতিটি গ্রেডিয়েন্ট উপাদানকে একটি পরিসরে স্বাধীনভাবে আটকে দেয়, যা দিক পরিবর্তন করতে পারে
  5. A minibatch produces an unusually large global gradient norm. What does clip-by-norm do before the optimizer update?
    • Scales the full gradient vector down to the configured threshold when the norm exceeds it
    • Changes the model’s labels
    • Drops every gradient component independently
    • Increases the learning rate until the loss recovers
  6. ডিফারেনশিয়ালি প্রাইভেট ট্রেনিংয়ে (DP-SGD), প্রতি-উদাহরণ গ্রেডিয়েন্ট ক্লিপিং কী ভূমিকা পালন করে?
    • এটি ডেটা এনক্রিপ্ট করে
    • এটি প্রতিটি উদাহরণের প্রভাবকে আবদ্ধ করে তাই ক্যালিব্রেট করা শব্দ গোপনীয়তার গ্যারান্টি দিতে পারে
    • এটি ব্যাচের আকার বাড়ায়
    • এটি একটি ক্ষতি ফাংশন জন্য প্রয়োজন অপসারণ
  7. The global gradient norm is twice a clipping threshold c. By what factor is the gradient scaled?
    • দুই
    • One quarter
    • One half (c divided by 2c)
    • It is left unchanged
  8. Why does DP-SGD clip each example’s gradient before adding calibrated noise?
    • To make all examples have the same label
    • To remove the need for a privacy budget
    • To increase the norm of rare-class gradients
    • To bound an individual example’s influence on the released update