গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর
নিউরাল নেটওয়ার্ক কুইজের জন্য স্কেলিং আইন
পরীক্ষামূলক স্কেলিং আইনগুলি কীভাবে ভাষা-মডেলের ক্ষতিকে প্যারামিটার, ডেটা এবং গণনার সাথে সম্পর্কিত করে এবং তাদের পূর্বাভাসগুলি কোথায় প্রযোজ্য তা পরীক্ষা করে।
প্রশ্ন 1 এর 8
What pattern did Kaplan et al. report for language-model loss as model size, data, or compute increased?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- What pattern did Kaplan et al. report for language-model loss as model size, data, or compute increased?
- Approximate power-law relationships over the tested ranges
- A sudden guaranteed drop to zero
- A fixed increase in loss for every larger model
- Random oscillation with no measurable trend
- মূল স্কেলিং আইন কোন তিনটি পরিমাণ ক্ষতির সাথে সম্পর্কিত?
- ব্যাচের আকার, ড্রপআউট এবং যুগ
- মডেল প্যারামিটার, ডেটাসেটের আকার এবং গণনা
- শেখার হার, ওজন ক্ষয়, এবং গভীরতা
- GPU গণনা, মেমরি এবং লেটেন্সি
- How can a scaling-law fit help when planning a larger training run?
- It guarantees the final benchmark score
- It eliminates the need for validation
- It can inform an extrapolation from smaller experiments, subject to the tested setup
- It predicts results exactly for any dataset or architecture
- একটি স্কেলিং আইন ক্ষতি সূত্রে ধ্রুবক (অপরিবর্তনীয়) শব্দটি কী উপস্থাপন করে?
- একটি সফ্টওয়্যার বাগ
- শেখার হার
- GPU এর সংখ্যা
- ডেটার অন্তর্নিহিত এনট্রপি যা কোনো মডেল হারাতে পারে না
- Why can absolute loss reductions become smaller as compute keeps increasing under a power-law fit?
- The reducible loss term shrinks while the loss approaches its floor
- The data is removed after each compute increase
- The model stops using parameters
- Power laws require loss to increase over time
- কোন প্রবণতা ক্ষেত্রটিকে সাধারণ 'বড় ইজ বেটার' স্কেলিং এর বাইরে ঠেলে দিচ্ছে?
- GPU বিনামূল্যে হচ্ছে
- উচ্চ-মানের ডেটার ঘাটতি এবং শক্তি এবং খরচ সীমা
- সীমাহীন উচ্চ-মানের পাঠ্য প্রদর্শিত হচ্ছে
- লস বক্ররেখা সরল উল্লম্ব লাইনে পরিণত হচ্ছে
- What did the original Kaplan study say about architecture details such as width and depth within its tested range?
- They always dominated model size, data, and compute
- They made loss independent of data
- They had relatively small effects compared with the studied scaling variables
- They guaranteed the same performance for all architectures
- What compute-allocation tendency did the original Kaplan paper report?
- Every model should be trained to zero loss
- Small models always use less compute at equal loss
- Training data has no effect on compute allocation
- Large models could be more sample-efficient and compute-efficient training could stop before convergence