গাইড লিঙ্ক ক্যুইজ · কঠিন স্তর

SwiGLU এবং Gated Activations Quiz

গেটেড প্রজেকশন, SiLU গেট, প্যারামিটার-কস্ট ট্রেড-অফ এবং কেন লুকানো প্রস্থ পরিবর্তিত হয় যখন একটি SwiGLU একটি স্ট্যান্ডার্ড MLP প্রতিস্থাপন করে তা পরীক্ষা করে।

প্রশ্ন 1 এর 8

কোন মূল অপারেশন একটি গেটেড লিনিয়ার ইউনিটকে সংজ্ঞায়িত করে?

প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

  1. কোন মূল অপারেশন একটি গেটেড লিনিয়ার ইউনিটকে সংজ্ঞায়িত করে?
    • একটি সক্রিয় দ্বিতীয় অভিক্ষেপ দ্বারা একটি অভিক্ষেপের উপাদান-ভিত্তিক গুণ
    • দুটি রৈখিক অভিক্ষেপ একসাথে যোগ করা
    • একত্রিত মনোযোগ মাথা
    • তাদের আদর্শ দ্বারা সক্রিয়করণ বিভাজন
  2. SwiGLU তার গেট শাখার জন্য কোন অ্যাক্টিভেশন ফাংশন ব্যবহার করে?
    • ReLU
    • সুইশ (SiLU)
    • তানহ
    • সফটম্যাক্স
  3. একটি SwiGLU ফিড-ফরোয়ার্ড ব্লক কত ওজন ম্যাট্রিস ব্যবহার করে?
    • এক
    • দুই
    • তিন
    • চার
  4. কেন লুকানো মাত্রা সাধারণত SwiGLU স্তরগুলিতে প্রায় দুই-তৃতীয়াংশে স্কেল করা হয়?
    • সংখ্যাগত নির্ভুলতা উন্নত করতে
    • মডেল আরও গভীর করতে
    • স্বাভাবিককরণের প্রয়োজনীয়তা দূর করতে
    • অতিরিক্ত ম্যাট্রিক্স থাকা সত্ত্বেও মোট প্যারামিটার এবং FLOPগুলিকে একটি আদর্শ MLP-এর সাথে তুলনীয় রাখা
  5. ReLU এর তুলনায় সুইশের একটি স্বতন্ত্র বৈশিষ্ট্য হল যে এটি হল:
    • মসৃণ এবং অ একঘেয়েমি, ছোট নেতিবাচক অনুমতি দেয়
    • কঠোরভাবে বৃদ্ধি এবং 1 এ সীমাবদ্ধ
    • সিগমায়েড ফাংশনের অনুরূপ
    • শুধুমাত্র ইতিবাচক ইনপুট জন্য সংজ্ঞায়িত
  6. 2020 সালে ট্রান্সফরমার ফিড-ফরোয়ার্ড স্তরগুলির জন্য কে SwiGLU জনপ্রিয় করেছে?
    • জিওফ্রে হিন্টন
    • নোয়াম শাজির
    • ইয়ান লেকুন
    • আন্দ্রেজ কার্পাথি
  7. In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
    • The entire Transformer layer is skipped
    • The output projection is replaced by a sigmoid
    • The matching value-branch dimension contributes little to the output
    • The value branch is permanently frozen
  8. Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
    • The SiLU gate removes the output projection
    • SwiGLU computes a full Hessian
    • The value branch has no learned weights
    • SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs