গাইড লিঙ্ক ক্যুইজ · কঠিন স্তর

নেগেটিভ স্যাম্পলিং এবং নয়েজ কনট্রাস্টিভ এস্টিমেশন কুইজ

NCE এবং নেতিবাচক স্যাম্পলিং কীভাবে গোলমালের উদাহরণ ব্যবহার করে, ফুল-সফটম্যাক্স খরচ কমায় এবং তাদের সম্ভাব্য লক্ষ্যগুলির মধ্যে পার্থক্য করে তা পরীক্ষা করে।

সম্পর্কিত গাইড পাথনেতিবাচক নমুনা এবং গোলমাল বিপরীত অনুমান
প্রশ্ন 1 এর 8

নেতিবাচক নমুনা এবং NCE প্রাথমিকভাবে কোন সমস্যা সমাধান করে?

প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

  1. নেতিবাচক নমুনা এবং NCE প্রাথমিকভাবে কোন সমস্যা সমাধান করে?
    • একটি খুব বড় আউটপুট স্থানের উপর একটি সম্পূর্ণ সফটম্যাক্স কম্পিউট করার উচ্চ খরচ
    • ছোট ডেটাসেটে ওভারফিটিং
    • পুনরাবৃত্ত নেটওয়ার্কে গ্রেডিয়েন্ট অদৃশ্য হয়ে যাচ্ছে
    • তত্ত্বাবধানে শেখার জন্য লেবেলযুক্ত ডেটার অভাব
  2. কিভাবে নয়েজ কনট্রাস্টিভ এস্টিমেশন শেখার টাস্ক রিফ্রেম করে?
    • ক্রমাগত লক্ষ্যে রিগ্রেশন হিসাবে
    • সত্য তথ্য নমুনা এবং শব্দ নমুনা মধ্যে বাইনারি শ্রেণীবিভাগ হিসাবে
    • লেবেলবিহীন পয়েন্টের ক্লাস্টারিং হিসাবে
    • পুরষ্কার সহ শক্তিবৃদ্ধি শেখার হিসাবে
  3. শব্দ এমবেডিং শেখার জন্য কোন মডেল নেতিবাচক নমুনাকে জনপ্রিয় করেছে?
    • BERT
    • ResNet
    • word2vec এর স্কিপ-গ্রাম মডেল
    • GPT-2
  4. কিভাবে নেতিবাচক নমুনা সম্পূর্ণ NCE থেকে আলাদা?
    • এটি সঠিকতার জন্য অতিরিক্ত স্বাভাবিককরণ শর্তাবলী যোগ করে
    • এটি প্রতিটি ধাপে সম্পূর্ণ শব্দভান্ডার প্রয়োজন
    • এটি একটি সিগময়েডের পরিবর্তে একটি রিগ্রেশন লস ব্যবহার করে
    • এটি এনসিই-এর স্বাভাবিককরণের শর্তগুলিকে বাদ দেয়, এটিকে দ্রুততর করে কিন্তু একটি সামঞ্জস্যপূর্ণ ঘনত্ব অনুমানকারী নয়
  5. কেন নেতিবাচকগুলি প্রায়শই ইউনিগ্রাম বিতরণ থেকে 3/4 পাওয়ারে উত্থাপিত হয়?
    • ফ্রিকোয়েন্সি দ্বারা বিশুদ্ধভাবে নমুনা না করে ঘন ঘন এবং বিরল শব্দের প্রভাবের ভারসাম্য বজায় রাখা
    • বিরল শব্দ সম্পূর্ণরূপে উপেক্ষা করা
    • সব শব্দ সমানভাবে সম্ভাব্য করতে
    • প্রশিক্ষণ থেকে স্টপ শব্দ অপসারণ
  6. For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
    • It computes an exact probability for every vocabulary item
    • The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
    • It eliminates the need to score the positive pair
    • It sorts all words by frequency on each step
  7. In skip-gram negative sampling, what is treated as the positive training pair?
    • Two words sampled independently from the noise distribution
    • A word paired with an empty context
    • A word and a context word observed together in the corpus
    • A validation label paired with a model checkpoint
  8. Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
    • It always sums over the full vocabulary
    • It requires exact maximum-likelihood normalization
    • It never uses negative examples
    • Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead