গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর
স্তর স্বাভাবিককরণ কুইজ
LayerNorm পরিসংখ্যান এবং affine প্যারামিটার, এর ব্যাচ-আকারের আচরণ, epsilon, RMSNorm এবং প্রি-নর্ম প্লেসমেন্ট চেক করে। গভীর নেটওয়ার্কে।
প্রশ্ন 1 এর 8
লেয়ার নরমালাইজেশন এর গড় এবং তারতম্যকে কী দিয়ে গণনা করে?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- লেয়ার নরমালাইজেশন এর গড় এবং তারতম্যকে কী দিয়ে গণনা করে?
- একক উদাহরণের বৈশিষ্ট্য জুড়ে
- মিনি-ব্যাচের সমস্ত উদাহরণ জুড়ে
- নেটওয়ার্কের সমস্ত ওজন জুড়ে
- একাধিক প্রশিক্ষণ যুগ জুড়ে
- কেন ট্রান্সফরমারগুলিতে ব্যাচ স্বাভাবিককরণের চেয়ে স্তর স্বাভাবিককরণ পছন্দ করা হয়?
- এটি একটি খুব বড় ব্যাচ আকার প্রয়োজন
- এটি ব্যাচের আকার থেকে স্বাধীন এবং পরিবর্তনশীল-দৈর্ঘ্যের ক্রমগুলি পরিচালনা করে
- এটি যেকোন শেখার যোগ্য প্যারামিটারের প্রয়োজনীয়তা দূর করে
- এটি শুধুমাত্র অনুমানের সময় কাজ করে
- শেখার যোগ্য প্যারামিটার গামা এবং বিটা লেয়ারনর্মকে কী করতে দেয়?
- শেখার হার চয়ন করুন
- স্তর সংখ্যা সেট করুন
- স্বাভাবিক আউটপুট পুনরায় স্কেল করুন এবং স্থানান্তর করুন যাতে নেটওয়ার্ক দরকারী উপস্থাপনা পুনরুদ্ধার করতে পারে
- একটি সক্রিয়করণ ফাংশন জন্য প্রয়োজন সরান
- কিভাবে RMSNorm স্ট্যান্ডার্ড LayerNorm থেকে আলাদা?
- এটি পরিবর্তে ব্যাচ জুড়ে স্বাভাবিক করে তোলে
- এটি কোন পরামিতি এবং কোন বিভাজন ব্যবহার করে না
- এটা শুধুমাত্র ইমেজ উপর কাজ করে
- এটি মানে বিয়োগ এড়িয়ে যায় এবং শুধুমাত্র মূল-মান-বর্গ দ্বারা ভাগ করে
- স্তর স্বাভাবিককরণ প্রাথমিকভাবে গভীর নেটওয়ার্কে সমাধান করতে সাহায্য করে কোন সমস্যা?
- সক্রিয়করণগুলি খুব ভিন্ন স্কেলে প্রবাহিত হয়, যা প্রশিক্ষণকে অস্থিতিশীল করে
- ডিস্কের জায়গা ফুরিয়ে যাচ্ছে
- সঠিক ডেটাসেট নির্বাচন করা হচ্ছে
- মডেলের ওজন এনক্রিপ্ট করা হচ্ছে
- কেন 'প্রি-নর্ম' প্লেসমেন্ট প্রায়ই খুব গভীর ট্রান্সফরমারে ব্যবহৃত হয়?
- এটি মডেলটিকে ছোট করে তোলে
- প্রতিটি সাবলেয়ারের আগে স্বাভাবিককরণ গভীর স্ট্যাকগুলিকে প্রশিক্ষণের জন্য সহজ এবং আরও স্থিতিশীল করে তোলে
- এটি মনোযোগের প্রক্রিয়াটি সরিয়ে দেয়
- এটি স্বয়ংক্রিয়ভাবে শেখার হার দ্বিগুণ করে
- Why is a small epsilon added to LayerNorm’s variance before taking its square root?
- To make the batch size larger
- To replace the learnable scale
- To avoid division by zero and improve numerical stability
- To compute the sequence length
- If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
- It restores the original unnormalized inputs exactly
- It applies a softmax over features
- It changes the statistics to be batch-dependent
- It leaves the normalized values unchanged after the mean-and-variance scaling