গাইড লিঙ্ক ক্যুইজ · কঠিন স্তর
SwiGLU এবং Gated Activations Quiz
গেটেড প্রজেকশন, SiLU গেট, প্যারামিটার-কস্ট ট্রেড-অফ এবং কেন লুকানো প্রস্থ পরিবর্তিত হয় যখন একটি SwiGLU একটি স্ট্যান্ডার্ড MLP প্রতিস্থাপন করে তা পরীক্ষা করে।
প্রশ্ন 1 এর 8
কোন মূল অপারেশন একটি গেটেড লিনিয়ার ইউনিটকে সংজ্ঞায়িত করে?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- কোন মূল অপারেশন একটি গেটেড লিনিয়ার ইউনিটকে সংজ্ঞায়িত করে?
- একটি সক্রিয় দ্বিতীয় অভিক্ষেপ দ্বারা একটি অভিক্ষেপের উপাদান-ভিত্তিক গুণ
- দুটি রৈখিক অভিক্ষেপ একসাথে যোগ করা
- একত্রিত মনোযোগ মাথা
- তাদের আদর্শ দ্বারা সক্রিয়করণ বিভাজন
- SwiGLU তার গেট শাখার জন্য কোন অ্যাক্টিভেশন ফাংশন ব্যবহার করে?
- ReLU
- সুইশ (SiLU)
- তানহ
- সফটম্যাক্স
- একটি SwiGLU ফিড-ফরোয়ার্ড ব্লক কত ওজন ম্যাট্রিস ব্যবহার করে?
- এক
- দুই
- তিন
- চার
- কেন লুকানো মাত্রা সাধারণত SwiGLU স্তরগুলিতে প্রায় দুই-তৃতীয়াংশে স্কেল করা হয়?
- সংখ্যাগত নির্ভুলতা উন্নত করতে
- মডেল আরও গভীর করতে
- স্বাভাবিককরণের প্রয়োজনীয়তা দূর করতে
- অতিরিক্ত ম্যাট্রিক্স থাকা সত্ত্বেও মোট প্যারামিটার এবং FLOPগুলিকে একটি আদর্শ MLP-এর সাথে তুলনীয় রাখা
- ReLU এর তুলনায় সুইশের একটি স্বতন্ত্র বৈশিষ্ট্য হল যে এটি হল:
- মসৃণ এবং অ একঘেয়েমি, ছোট নেতিবাচক অনুমতি দেয়
- কঠোরভাবে বৃদ্ধি এবং 1 এ সীমাবদ্ধ
- সিগমায়েড ফাংশনের অনুরূপ
- শুধুমাত্র ইতিবাচক ইনপুট জন্য সংজ্ঞায়িত
- 2020 সালে ট্রান্সফরমার ফিড-ফরোয়ার্ড স্তরগুলির জন্য কে SwiGLU জনপ্রিয় করেছে?
- জিওফ্রে হিন্টন
- নোয়াম শাজির
- ইয়ান লেকুন
- আন্দ্রেজ কার্পাথি
- In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
- The entire Transformer layer is skipped
- The output projection is replaced by a sigmoid
- The matching value-branch dimension contributes little to the output
- The value branch is permanently frozen
- Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
- The SiLU gate removes the output projection
- SwiGLU computes a full Hessian
- The value branch has no learned weights
- SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs