প্রযুক্তিগত গাইড
RMSNorm এবং প্রি-লেয়ার নরমালাইজেশন
RMSNorm হল একটি লাইটওয়েট নর্মালাইজেশন লেয়ার যেটি অ্যাক্টিভেশনগুলিকে তাদের রুট মানে স্কোয়ার দ্বারা রিস্কেল করে এবং প্রি-লেয়ার নর্মালাইজেশন স্থানগুলিকে পরে না করে প্রতিটি সাবলেয়ারের আগে চলে যায়।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
তারা একসাথে গভীর ট্রান্সফরমারকে ওয়ার্মআপ কৌশল ছাড়াই স্থিরভাবে ট্রেন তৈরি করে।
গভীর ডুব
Standard LayerNorm গড় বিয়োগ করে এবং একটি বৈশিষ্ট্য ভেক্টর জুড়ে আদর্শ বিচ্যুতি দ্বারা ভাগ করে, তারপর একটি শেখা স্কেল এবং শিফট প্রয়োগ করে। RMSNorm, 2019 সালে Zhang এবং Sennrich দ্বারা প্রবর্তিত, গড়-কেন্দ্রীকরণ এবং পক্ষপাত সম্পূর্ণভাবে বাদ দেয়: এটি প্রতিটি ভেক্টরকে তার উপাদানগুলির মূল গড় বর্গ দ্বারা বিভক্ত করে এবং একটি শেখা প্রতি-বৈশিষ্ট্য লাভ দ্বারা গুণ করে। এটি একটি পরিসংখ্যান এবং বেশ কয়েকটি ক্রিয়াকলাপকে সরিয়ে দেয়, নির্ভুলতার সাথে মিলে যাওয়ার সময় আদর্শ স্তরে প্রায় 10-50% গণনা কাটে। আলাদাভাবে, 'প্রি-এলএন' প্লেসমেন্ট (মনোযোগের আগে আদর্শ/এমএলপি, এটির চারপাশে একটি পরিষ্কার অবশিষ্ট পথ সহ) গ্রেডিয়েন্ট ম্যাগনিটিউডগুলিকে প্রারম্ভে আবদ্ধ রাখে, তাই GPT-3, LLaMA এবং PaLM ট্রেনের মতো মডেলগুলি শেখার হারের ওয়ার্মআপ হ্যাক ছাড়াই মূল পোস্ট-এলএন ট্রান্সফরমারের প্রয়োজন।
বাস্তব-বিশ্ব বাস্তবায়ন
LLaMA, Mistral এবং Qwen সকলেই LayerNorm কে RMSNorm দিয়ে প্রতিস্থাপন করে প্রতিটি টোকেনে অনুমান লেটেন্সি শেভ করার জন্য
প্রি-এলএন জিপিটি-স্টাইলের মডেলগুলিকে 2017-পরবর্তী-এলএন ট্রান্সফরমারের প্রয়োজনীয় শিক্ষার হারের ওয়ার্মআপ ছাড়াই প্রশিক্ষণ দিতে দেয়
QK-স্বাভাবিককরণ মনোযোগের প্রশ্ন এবং কীগুলিতে RMSNorm ব্যবহার করে লজিটগুলিকে বড় মডেলগুলিতে বিস্ফোরিত হওয়া বন্ধ করতে
মোবাইল এবং এজ ট্রান্সফরমারগুলি RMSNorm গ্রহণ করে কারণ গড় এবং পক্ষপাত বাদ দিলে মেমরি ট্র্যাফিক কমে যায়
RMSNorm এবং প্রাক-স্তর স্বাভাবিককরণের ভবিষ্যত
RMSNorm এখন বেশিরভাগ ওপেন-ওয়েট এলএলএম (LLaMA, Mistral, Qwen, Gemma) তে ডিফল্ট, তাই এটি মানসম্মত থাকবে বলে আশা করুন। গবেষণা রেসিপিটিকে পরিমার্জিত করছে: QK-নর্ম মনোযোগের প্রশ্নে আরএমএসনর্ম প্রযোজ্য এবং লগিট বৃদ্ধিকে নিয়ন্ত্রণ করার জন্য কী, এবং কিছু ল্যাব ট্রিলিয়ন-প্যারামিটার স্কেলে অতিরিক্ত স্থিতিশীলতার জন্য প্রাক- এবং পরবর্তী-নর্ম ('স্যান্ডউইচ' বা 'পেরি-এলএন') একত্রিত করে। হার্ডওয়্যার কার্নেলগুলি গতির জন্য অপারেশনকে ফিউজ করে রাখে।
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
- সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
- মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।
জন্য সতর্ক
- একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
- অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
- সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।
পরবর্তী পদক্ষেপ
- বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
- বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
- ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
- স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the RMSNorm and Pre-Layer Normalization quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
RMSNorm এবং প্রি-লেয়ার নরমালাইজেশন কি?
RMSNorm হল একটি লাইটওয়েট নর্মালাইজেশন লেয়ার যেটি অ্যাক্টিভেশনগুলিকে তাদের রুট মানে স্কোয়ার দ্বারা রিস্কেল করে এবং প্রি-লেয়ার নর্মালাইজেশন স্থানগুলিকে পরে না করে প্রতিটি সাবলেয়ারের আগে চলে যায়। তারা একসাথে গভীর ট্রান্সফরমারকে ওয়ার্মআপ কৌশল ছাড়াই স্থিরভাবে ট্রেন তৈরি করে।
স্ট্যান্ডার্ড লেয়ারনর্মের তুলনায় RMSNorm কী বাদ দেয়?
RMSNorm কম্পিউটিং এড়িয়ে যায় এবং গড় বিয়োগ করে, শুধুমাত্র সক্রিয়করণের মূল গড় বর্গ দ্বারা স্বাভাবিক করে।
RMSNorm প্রতিটি সক্রিয়করণ ভেক্টরকে কোন পরিমাণে ভাগ করে?
RMSNorm বর্গাকার উপাদানগুলির গড় sqrt দ্বারা ভাগ করে, অর্থাৎ মূল গড় বর্গক্ষেত্র, তারপর একটি শেখা লাভ প্রয়োগ করে।
What gradient behavior does Pre-LN support at initialization in deep Transformers?
Xiong et al. analyze gradient behavior and show Pre-LN gradients are better behaved at initialization; this does not guarantee warmup-free training for every setup.
একটি প্রি-এলএন ব্লকে, স্বাভাবিকীকরণ স্তরটি ইচ্ছাকৃতভাবে অস্পর্শিত ছেড়ে যায় কোন পথ?
প্রি-এলএন একটি সাবলেয়ারে ইনপুটকে স্বাভাবিক করে কিন্তু অবশিষ্ট শর্টকাট এটিকে বাইপাস করে, একটি পরিষ্কার গ্রেডিয়েন্ট হাইওয়ে সংরক্ষণ করে।
কোন আধুনিক ওপেন-ওয়েট মডেল পরিবার ডিফল্টরূপে RMSNorm ব্যবহার করে?
RMSNorm LLaMA, Mistral, Qwen, Gemma এবং সাম্প্রতিকতম LLM-তে স্ট্যান্ডার্ড নর্মালাইজেশন হয়ে উঠেছে।
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড