গাইড লিঙ্ক ক্যুইজ · কঠিন স্তর
RMSNorm এবং প্রি-লেয়ার নরমালাইজেশন কুইজ
এই স্বাধীন ডিজাইন পছন্দগুলিকে বিভ্রান্ত না করে RMSNorm পরিসংখ্যান, প্রাক-এলএন বসানো, অবশিষ্ট পথ এবং ক্যোয়ারী-কী স্বাভাবিককরণ পরীক্ষা করে।
প্রশ্ন 1 এর 8
স্ট্যান্ডার্ড লেয়ারনর্মের তুলনায় RMSNorm কী বাদ দেয়?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- স্ট্যান্ডার্ড লেয়ারনর্মের তুলনায় RMSNorm কী বাদ দেয়?
- গড় বিয়োগ (পুনরায় কেন্দ্রীকরণ)
- শেখা স্কেল পরামিতি
- অবশিষ্ট সংযোগ
- সফটম্যাক্স অপারেশন
- RMSNorm প্রতিটি সক্রিয়করণ ভেক্টরকে কোন পরিমাণে ভাগ করে?
- এর ভিন্নতা
- এর মূল মানে বর্গক্ষেত্র
- এর সর্বোচ্চ পরম মান
- এর L1 আদর্শ
- What gradient behavior does Pre-LN support at initialization in deep Transformers?
- It guarantees stable training for every model without tuning
- It removes the residual stream from the block
- It can make gradients better behaved at initialization and reduce some stability problems
- It makes all gradients exactly equal across layers
- একটি প্রি-এলএন ব্লকে, স্বাভাবিকীকরণ স্তরটি ইচ্ছাকৃতভাবে অস্পর্শিত ছেড়ে যায় কোন পথ?
- ফিড ফরোয়ার্ড ওজন
- টোকেন এম্বেডিং
- আউটপুট softmax
- অবশিষ্ট (পরিচয়) সংযোগ
- কোন আধুনিক ওপেন-ওয়েট মডেল পরিবার ডিফল্টরূপে RMSNorm ব্যবহার করে?
- এলএলএএমএ, মিস্ট্রাল এবং কুয়েন
- অ্যালেক্সনেট এবং ভিজিজি
- ResNet এবং ইনসেপশন
- BERT-বেস এবং আসল ট্রান্সফরমার
- RMSNorm-এর সাম্প্রতিক প্রয়োগ 'কিউকে-নর্ম' কী?
- চূড়ান্ত আউটপুট লগিট স্বাভাবিককরণ
- লগিট বৃদ্ধি নিয়ন্ত্রণ করতে মনোযোগের প্রশ্ন এবং কীগুলিতে RMSNorm প্রয়োগ করা
- কী-মান ক্যাশে পরিমাপ করা
- সম্পূর্ণরূপে স্বাভাবিককরণ এড়িয়ে যাওয়ার একটি উপায়
- A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
- It always sets the mean exactly to zero
- It replaces each feature with its rank
- It does not explicitly subtract the mean, though rescaling can change its value
- It subtracts the maximum activation from every feature
- How are RMSNorm and Pre-LN related as design choices?
- They are two names for subtracting the mean
- RMSNorm always means normalization after the residual
- Pre-LN specifies the optimizer rather than the block
- RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block