স্তর স্বাভাবিককরণ

স্তর স্বাভাবিককরণ প্রতিটি পৃথক উদাহরণের মধ্যে সক্রিয়করণগুলিকে পুনরায় স্কেল করে প্রশিক্ষণকে স্থিতিশীল করে যাতে তাদের শূন্য গড় এবং একক বৈচিত্র্য থাকে। এটি একটি শান্ত কিন্তু অপরিহার্য উপাদান যা গভীর ট্রান্সফরমারকে প্রশিক্ষণযোগ্য করে তোলে।

LayerNorm একটি পৃথক নমুনার বৈশিষ্ট্যের মাত্রাকে স্বাভাবিক করে তোলে, এটিকে ব্যাচের অন্যান্য উদাহরণ থেকে স্বাধীন করে তোলে।

কারণ এর পরিসংখ্যান একটি একক উদাহরণ থেকে এসেছে, লেয়ারনর্ম ব্যাচের আকার নির্বিশেষে ধারাবাহিকভাবে আচরণ করে এবং পরিবর্তনশীল-দৈর্ঘ্যের পাঠ্য অনুক্রমের জন্য উপযুক্ত।

শূন্য গড় এবং একক বৈচিত্র স্বাভাবিক করার পরে, গামা স্কেল এবং বিটা ফলাফল পরিবর্তন করে যাতে মডেলটিকে একটি নির্দিষ্ট বিতরণে বাধ্য করা হয় না।

RMSNorm অ্যাক্টিভেশনের রুট-মিন-স্কোয়ার দ্বারা গড়-কেন্দ্রিক পদক্ষেপ এবং স্কেলগুলি বাদ দেয়, যা সস্তা এবং লামার মতো মডেলগুলিতে ব্যবহৃত হয়।

সিগন্যাল অনেক স্তরের মধ্য দিয়ে যাওয়ার সময় তাদের স্কেল উড়িয়ে বা সঙ্কুচিত হতে পারে; স্বাভাবিককরণ একটি স্থিতিশীল পরিসরে সক্রিয়করণ রাখে যাতে গ্রেডিয়েন্টগুলি ভাল আচরণ করে।