গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর
পুনরাবৃত্তি পেনাল্টি এবং ডিকোডিং কন্ট্রোল কুইজ
LLM জেনারেশন ওয়ার্কফ্লোতে নমুনা নেওয়ার আগে লগিটগুলি কীভাবে পরিবর্তিত হয় তা সহ তাপমাত্রা, টপ-কে, টপ-পি এবং পুনরাবৃত্তির শাস্তির তুলনা করুন।
প্রশ্ন 1 এর 8
'তাপমাত্রা' পরামিতি বাড়ানো একটি মডেলের আউটপুটে কী করে?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- 'তাপমাত্রা' পরামিতি বাড়ানো একটি মডেলের আউটপুটে কী করে?
- এটিকে আরও এলোমেলো এবং বৈচিত্র্যময় করে তোলে
- এটিকে আরও নির্ধারক এবং ফোকাস করে তোলে
- স্থায়ীভাবে মডেলের ওজন পরিবর্তন
- প্রজন্মের গতি বাড়ায়
- টপ-পি (নিউক্লিয়াস) স্যাম্পলিং কিভাবে সিদ্ধান্ত নেয় কোন টোকেন বিবেচনা করবে?
- এটি সম্ভাব্যতা নির্বিশেষে একটি নির্দিষ্ট সংখ্যক টোকেন রাখে
- এটি টোকেনের ক্ষুদ্রতম সেট রাখে যার সম্ভাব্যতা একটি থ্রেশহোল্ডে যোগ করে
- এটি শুধুমাত্র একক সম্ভাব্য টোকেন রাখে
- এটি 50% এর উপরে সম্ভাব্যতার সাথে টোকেন রাখে
- কোন পর্যায়ে একটি পুনরাবৃত্তি শাস্তি সাধারণত কাজ করে?
- প্রজন্মের পর কাঁচা লেখায়
- প্রশিক্ষণ তথ্য উপর
- সফটম্যাক্সের আগে লগিটে
- টোকেনাইজার শব্দভান্ডারে
- OpenAI-এর টেক্সট-জেনারেশন API-এ, উপস্থিতি এবং ফ্রিকোয়েন্সি পেনাল্টিগুলি কীভাবে আলাদা?
- টোকেন গণনা সহ উপস্থিতি পেনাল্টি স্কেল; ফ্রিকোয়েন্সি পেনাল্টি সমতল
- তারা অভিন্ন
- উভয়ই শুধুমাত্র প্রথম টোকেনের জন্য প্রযোজ্য
- Frequency penalty scales with how often a token appeared; presence penalty applies once if it appeared at all
- কোড সমাপ্তির জন্য যেখানে নির্ধারক নমুনা আকাঙ্ক্ষিত, কোন সেটিং গাইডের সাথে সবচেয়ে ভালো মেলে?
- শূন্যের কাছাকাছি তাপমাত্রা
- খুব উচ্চ তাপমাত্রা
- 2.0 এর উপরে উচ্চ পুনরাবৃত্তি জরিমানা
- উচ্চ তাপমাত্রা সহ 1.0 এর টপ-পি
- টপ-কে স্যাম্পলিং কি করে?
- টোকেনগুলিকে সম্ভাব্যতা k-এ যোগ করে রাখে
- প্রার্থী হিসাবে শুধুমাত্র k সবচেয়ে সম্ভাব্য টোকেন রাখে
- সকল লগিটকে k দ্বারা গুণ করে
- প্রশিক্ষণ থেকে k-র সম্ভাব্য টোকেনগুলি সরিয়ে দেয়
- With a repetition penalty above 1, how does a standard logits processor adjust a previously seen token?
- It sets every repeated-token logit to zero
- It adds the penalty to every token equally
- It divides a positive logit by the penalty and multiplies a negative logit by it
- It removes the token from the vocabulary permanently
- How does top-k differ from top-p sampling?
- Top-k uses cumulative probability while top-p fixes a count
- Top-k changes model weights while top-p changes the tokenizer
- They are both deterministic decoding methods
- Top-k keeps a fixed number of candidates; top-p keeps a probability-mass-based set