SwiGLU এবং Gated Activations
SwiGLU হল একটি গেটেড অ্যাক্টিভেশন ফাংশন যা একটি সুইশ-অ্যাক্টিভেটেড দ্বিতীয় প্রজেকশন দ্বারা ইনপুটের একটি রৈখিক অভিক্ষেপকে গুণ করে, যা ট্রান্সফরমার ফিড-ফরোয়ার্ড স্তরগুলির মধ্যে একটি শেখারযোগ্য, ডেটা-নির্ভর গেট হিসাবে কাজ করে।
ওভারভিউ
It consistently improves language-model quality, which is why nearly every modern LLM uses it.
গভীর ডুব
একটি স্ট্যান্ডার্ড ট্রান্সফরমার ফিড-ফরোয়ার্ড ব্লক হল দুটি রৈখিক স্তর যার মধ্যে একটি ReLU বা GELU থাকে। গেটেড লিনিয়ার ইউনিট, ডফিন এট আল দ্বারা প্রস্তাবিত। 2016 সালে, প্রথম প্রজেকশনটিকে দুটি অর্ধে ভাগ করুন এবং একটি অর্ধেকটি উপাদান-ভিত্তিক গুণের মাধ্যমে অন্যটি গেট করতে ব্যবহার করুন। SwiGLU, 2020 সালে Noam Shazeer দ্বারা জনপ্রিয়, সেই গেটের জন্য Swish (SiLU) ফাংশন ব্যবহার করে: আউটপুট = (Swish(xW) * (xV)) W2, দুটির পরিবর্তে তিনটি ওজন ম্যাট্রিক্স সহ। গেটিং নেটওয়ার্ককে বাছাই করে প্রতি মাত্রার তথ্য পাস বা দমন করতে দেয়। যেহেতু তৃতীয় ম্যাট্রিক্স যোগ করলে প্যারামিটার বৃদ্ধি পায়, বাস্তবায়নগুলি লুকানো মাত্রাকে প্রায় দুই-তৃতীয়াংশে সঙ্কুচিত করে তাই মোট গণনা একটি GELU MLP এর সাথে তুলনীয় থাকে। Shazeer এর পরীক্ষাগুলি পরিমাপযোগ্য বিভ্রান্তি লাভ দেখিয়েছে, এবং LLaMA, PaLM, এবং Mistral সবাই এটি গ্রহণ করেছিল।
প্রযুক্তিগত অন্তর্দৃষ্টি
সুইশ হল x * sigmoid(beta*x), একটি মসৃণ, নন-একঘেয়ে ফাংশন যা ReLU এর বিপরীতে, ছোট নেতিবাচক মানগুলিকে অনুমতি দেয়। SwiGLU-তে 'গেট' শাখা Swish(xW) 0 বা 1 এর কাছাকাছি মান তৈরি করে যা 'মান' শাখা xV উপাদান-ভিত্তিক গুণিত করে, তাই প্রতিটি লুকানো ইউনিটের অবদান একটি শেখা, ইনপুট-নির্ভর সংকেত দ্বারা পরিমিত হয়। তৃতীয় ওজন ম্যাট্রিক্স হল খরচ; দুই-তৃতীয়াংশ লুকানো-আকারের কৌশলটি FLOP বাজেটকে ভ্যানিলা ফিড-ফরোয়ার্ড লেয়ারের সাথে মিলে যায়।
কৌশলগত প্রভাব
খরচ ও বাজেট
আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
সুস্পষ্ট সিদ্ধান্ত
কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
মান নিয়ন্ত্রণ
ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।
SwiGLU এবং গেটেড অ্যাক্টিভেশনের ভবিষ্যত
SwiGLU ওপেন-ওয়েট এলএলএম-এ ডিফল্ট এমএলপি হিসাবে প্রবেশ করা হয়েছে এবং শীঘ্রই স্থানচ্যুত হওয়ার সম্ভাবনা নেই। সক্রিয় দিকনির্দেশের মধ্যে রয়েছে GeGLU এবং ReGLU ভেরিয়েন্ট, ফিউজড GPU কার্নেল যা উভয় প্রজেকশনকে এক পাসে গণনা করে এবং গেটেড এমএলপি-কে মিশ্রন-অফ-বিশেষজ্ঞদের সাথে একত্রিত করে যাতে প্রতিটি বিশেষজ্ঞ নিজেই একটি SwiGLU ব্লক। গবেষকরা আরও অধ্যয়ন করছেন কেন গেটিং অপ্টিমাইজেশানে সাহায্য করে, এমনকি সস্তা গেট ডিজাইন করার লক্ষ্যে।
বাস্তব-বিশ্ব বাস্তবায়ন
LLaMA, PaLM, এবং Mistral সমান কম্পিউটে বিভ্রান্তি কমাতে GELU ফিড-ফরোয়ার্ড স্তরকে SwiGLU দিয়ে প্রতিস্থাপন করে
লুকানো মাত্রা প্রায় দুই-তৃতীয়াংশ (8/3 d) স্কেল করা হয় তাই অতিরিক্ত গেটিং ম্যাট্রিক্স FLOP গুলিকে স্ফীত করে না
মিক্সচার-অফ-বিশেষজ্ঞ মডেল যেমন মিক্সট্রাল প্রতি-বিশেষজ্ঞ ফিড-ফরোয়ার্ড নেটওয়ার্ক হিসাবে SwiGLU ব্লক ব্যবহার করে
ভিশন এবং মাল্টিমোডাল ট্রান্সফরমার তাদের MLP সাবলেয়ার উন্নত করতে GeGLU/SwiGLU গেটিং ধার করে
ঝুঁকি এবং প্রহরী
একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।
বাস্তবায়ন রোডম্যাপ
বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the SwiGLU and Gated Activations quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
অ্যাক্টিভেশন রিকম্পিউটেশন ট্রেডঅফ
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is SwiGLU and Gated Activations?
SwiGLU হল একটি গেটেড অ্যাক্টিভেশন ফাংশন যা একটি সুইশ-অ্যাক্টিভেটেড দ্বিতীয় প্রজেকশন দ্বারা ইনপুটের একটি রৈখিক অভিক্ষেপকে গুণ করে, যা ট্রান্সফরমার ফিড-ফরোয়ার্ড স্তরগুলির মধ্যে একটি শেখারযোগ্য, ডেটা-নির্ভর গেট হিসাবে কাজ করে। এটি ধারাবাহিকভাবে ভাষা-মডেলের গুণমানকে উন্নত করে, যে কারণে প্রায় প্রতিটি আধুনিক এলএলএম এটি ব্যবহার করে।
কোন মূল অপারেশন একটি গেটেড লিনিয়ার ইউনিটকে সংজ্ঞায়িত করে?
একটি GLU একটি গেট প্রজেকশন উপাদান অনুসারে একটি মান অভিক্ষেপকে গুণ করে, যা নেটওয়ার্ক নিয়ন্ত্রণ তথ্যকে প্রতি মাত্রায় প্রবাহিত করতে দেয়।
SwiGLU তার গেট শাখার জন্য কোন অ্যাক্টিভেশন ফাংশন ব্যবহার করে?
SwiGLU সুইশ ব্যবহার করে, যাকে SiLUও বলা হয়, x * sigmoid(beta*x), গেটিং শাখার জন্য সংজ্ঞায়িত করা হয়।
একটি SwiGLU ফিড-ফরোয়ার্ড ব্লক কত ওজন ম্যাট্রিস ব্যবহার করে?
SwiGLU এর তিনটি ম্যাট্রিক্স প্রয়োজন: গেট প্রজেকশন, ভ্যালু প্রজেকশন এবং আউটপুট প্রজেকশন।
কেন লুকানো মাত্রা সাধারণত SwiGLU স্তরগুলিতে প্রায় দুই-তৃতীয়াংশে স্কেল করা হয়?
তৃতীয় ম্যাট্রিক্স অন্যথায় গণনাকে স্ফীত করবে, তাই লুকানো আকারকে প্রায় 8/3 ডি-এ সঙ্কুচিত করা বাজেটের সাথে মিলে যায়।
2020 সালে ট্রান্সফরমার ফিড-ফরোয়ার্ড স্তরগুলির জন্য কে SwiGLU জনপ্রিয় করেছে?
Noam Shazeer-এর 2020 নোট 'GLU ভেরিয়েন্ট ইমপ্রুভ ট্রান্সফরমার' SwiGLU চালু করেছে এবং এর বিভ্রান্তি লাভ করেছে।