নিউরাল নেটওয়ার্কের জন্য স্কেলিং আইন

They matter because they let researchers forecast performance before spending millions on training a giant model.

স্কেলিং আইন, কাপলান এবং সহকর্মীদের দ্বারা OpenAI-এর 2020 কাগজ দ্বারা জনপ্রিয়, দেখা গেছে যে তিনটি পরিমাণে একটি মসৃণ শক্তি আইন হিসাবে পরীক্ষার ক্ষতি হ্রাস পায়: প্যারামিটার গণনা (N), প্রশিক্ষণ টোকেন (D), এবং মোট গণনা (C)। লগ-লগ অক্ষের উপর প্লট করা হয়েছে, ক্ষতি বনাম প্রতিটি ফ্যাক্টর একটি প্রায় সরল রেখা তৈরি করে যা অনেক ক্রম বিস্তৃত। সম্পর্কগুলি ক্ষতি ≈ a + b·X^(-c) রূপ নেয়, যেখানে X হল স্কেলিং ফ্যাক্টর। গুরুত্বপূর্ণভাবে, মূল কাজটি প্রস্তাবিত মডেলের আকার ডেটার চেয়ে বেশি গুরুত্বপূর্ণ, যা GPT-3 এর 175 বিলিয়ন প্যারামিটারের মতো সর্বদা বড় মডেলের দিকে দৌড়ের জন্য প্ররোচিত করে। স্কেলিং আইনগুলি অনুমানের কাজ থেকে গভীর শিক্ষাকে একটি পূর্বাভাসযোগ্য প্রকৌশল শৃঙ্খলায় পরিণত করেছে, দলগুলিকে ছোট, সস্তা পরীক্ষাগুলি থেকে বৃহৎ ফলাফলের পূর্বাভাস দিতে দেয়৷