গাইড লিঙ্ক ক্যুইজ · কঠিন স্তর
নির্ধারিত স্যাম্পলিং এবং এক্সপোজার বায়াস কুইজ
কিভাবে নির্ধারিত নমুনা ডিকোডারের প্রেক্ষাপট পরিবর্তন করে, কেন এর স্বর্ণ-টোকেন সম্ভাবনা ক্ষয় হয় এবং নমুনার গ্রেডিয়েন্ট ট্রেড-অফগুলি পরীক্ষা করে।
প্রশ্ন 1 এর 8
এক্সপোজার পক্ষপাতিত্ব দেখা দেয় কারণ শিক্ষকদের সাথে প্রশিক্ষিত মডেলগুলি শুধুমাত্র শর্ত দেয়:
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- এক্সপোজার পক্ষপাতিত্ব দেখা দেয় কারণ শিক্ষকদের সাথে প্রশিক্ষিত মডেলগুলি শুধুমাত্র শর্ত দেয়:
- গ্রাউন্ড-ট্রুথ টোকেন, তবে অনুমানে তাদের নিজস্ব ব্যবহার করতে হবে
- তাদের নিজস্ব ভবিষ্যদ্বাণী টোকেন
- র্যান্ডম নয়েজ টোকেন
- ভবিষ্যতের টোকেন
- প্রশিক্ষণের সময় নির্ধারিত নমুনা কী করে?
- সর্বদা সত্য টোকেন ফিড
- এলোমেলোভাবে সত্য টোকেন এবং মডেলের নিজস্ব ভবিষ্যদ্বাণীর মধ্যে বেছে নেয়
- পর্যায়ক্রমে ক্ষতি ফাংশন নিষ্ক্রিয় করে
- সময়ের সাথে সাথে শেখার হার দ্বিগুণ করে
- নির্ধারিত স্যাম্পলিংয়ে প্রশিক্ষণের উপর ভিত্তি-সত্য টোকেন ব্যবহারের সম্ভাবনা কীভাবে পরিবর্তিত হয়?
- এটা স্থির থাকে
- এটি কম শুরু হয় এবং বৃদ্ধি পায়
- এটি উচ্চ শুরু হয় এবং শূন্যের দিকে ক্ষয় হয়
- এটা এলোমেলোভাবে oscillates
- কে নির্ধারিত নমুনা প্রবর্তন, এবং মোটামুটি কখন?
- ভাসওয়ানি এট আল।, 2017
- হিন্টন এট আল।, 2006
- লেকুন এট আল।, 1998
- বেঙ্গিও এট আল।, 2015
- প্রশিক্ষণের সময় নমুনাযুক্ত টোকেন খাওয়ানোর একটি স্বীকৃত প্রযুক্তিগত ত্রুটি হল:
- বিচ্ছিন্ন নমুনা ধাপটি অ-পার্থক্যযোগ্য, জটিল গ্রেডিয়েন্ট
- এটি প্রশিক্ষণকে সম্পূর্ণরূপে নির্ধারক করে তোলে
- এটা কোন বৈধতা তথ্য প্রয়োজন
- এটি এমবেডিংয়ের প্রয়োজনীয়তা দূর করে
- শিক্ষক জোরপূর্বক সম্ভাবনা ক্ষয় করার জন্য সাধারণত কোন সময়সূচীর আকৃতি উল্লেখ করা হয়?
- ধ্রুবক
- বিপরীত-সিগমায়েড ক্ষয়
- স্টেপ-আপ রৈখিক বৃদ্ধি
- এলোমেলো হাঁটা
- At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
- The next ground-truth token every time
- A token from a separate validation sequence
- A token sampled from the model’s predicted distribution
- The average of all vocabulary embeddings
- Why does scheduled sampling usually begin with a high probability of using ground truth?
- It guarantees unbiased gradients
- It removes the need for a training schedule
- It makes inference use ground-truth tokens
- Early predictions are poor, so a correct prefix can stabilize initial learning