গাইড লিঙ্ক ক্যুইজ · কঠিন স্তর

LoRA বিশেষজ্ঞ কুইজের মিশ্রণ

মিশ্র অ্যাডাপ্টারের জন্য LoRA-এর নিম্ন-র্যাঙ্ক আপডেট, বিশেষজ্ঞ গেটিং, হিমায়িত বেস ওজন, কম্পোজযোগ্য দক্ষতা এবং প্রতি-স্তর রাউটিং পরীক্ষা করে।

সম্পর্কিত গাইড পাথলোরা বিশেষজ্ঞদের মিশ্রণ
প্রশ্ন 1 এর 8

LoRA বিশেষজ্ঞদের মিশ্রণের 'LoRA' অংশটি কী বোঝায়?

প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

  1. LoRA বিশেষজ্ঞদের মিশ্রণের 'LoRA' অংশটি কী বোঝায়?
    • নিম্ন-র্যাঙ্ক অভিযোজন, যা সম্পূর্ণ ওজনের পরিবর্তে ছোট নিম্ন-র্যাঙ্ক ম্যাট্রিক্সকে প্রশিক্ষণ দেয়
    • একটি শক্তিবৃদ্ধি শেখার পুরস্কার মডেল
    • একটি দীর্ঘ পরিসীমা মনোযোগ প্রক্রিয়া
    • অ্যাডাপ্টারের জন্য একটি ডেটা-লোডিং পাইপলাইন
  2. MoLE-তে গেটিং/রাউটার নেটওয়ার্কের কাজ কী?
    • বেস মডেল ওজন কম্প্রেস করতে
    • কোন বিশেষজ্ঞদের সক্রিয় করতে হবে এবং প্রদত্ত ইনপুটের জন্য কোন ওজনের সাথে তা নির্ধারণ করতে
    • অ্যাডাপ্টারের জন্য প্রশিক্ষণ ডেটা তৈরি করতে
    • পাঠ্যকে এম্বেডিং-এ রূপান্তর করতে
  3. কেন MoLE প্রায়শই একটি অ্যাডাপ্টারকে অনেকগুলি মিশ্র কাজের প্রশিক্ষণ দেওয়ার চেয়ে ভাল?
    • এটি ডিজাইন অনুসারে আরও জিপিইউ মেমরি ব্যবহার করে
    • এটি যেকোন বেস মডেলের প্রয়োজনীয়তা দূর করে
    • এটি পৃথক সংমিশ্রণযোগ্য বিশেষজ্ঞদের দক্ষতা রেখে হস্তক্ষেপ এবং ভুলে যাওয়া হ্রাস করে
    • এটি শুধুমাত্র একটি একক ভাষায় কাজ করে
  4. LoRA-তে, ওজন আপডেট সাধারণত নিচের কোনটি হিসাবে প্রকাশ করা হয়?
    • একটি সম্পূর্ণ ঘন ম্যাট্রিক্স ডব্লিউ প্রতিস্থাপন করে
    • W-তে একটি একক স্কেলার গুণক
    • একটি র্যান্ডম নয়েজ ম্যাট্রিক্স প্রতিটি ধাপ যোগ করেছে
    • দুটি নিম্ন-র্যাঙ্ক ম্যাট্রিকের গুণফল, B গুণ A
  5. MoLE প্রশিক্ষণের সময়, বেস মডেলের পূর্ব-প্রশিক্ষিত ওজনের ক্ষেত্রে সাধারণত কী ঘটে?
    • শুধুমাত্র অ্যাডাপ্টার এবং রাউটার প্রশিক্ষিত থাকাকালীন তারা হিমায়িত থাকে
    • তারা স্ক্র্যাচ থেকে সম্পূর্ণরূপে পুনরায় প্রশিক্ষিত হয়
    • তারা মুছে ফেলা এবং পুনর্নির্মাণ করা হয়
    • তারা এক বিট পরিমাণ করা হয়
  6. ডিফিউশন ইমেজ মডেলগুলিতে, MoLE-তে শ্রেণীবদ্ধ/প্রতি-স্তর গেটিং কোন সমস্যা সমাধান করতে সাহায্য করে?
    • ধীর ইন্টারনেট ডাউনলোড
    • একাধিক ধারণা LoRA গুলি যখন কম্পোজ করা হয় তখন একে অপরকে কাটিয়ে দেয়
    • প্রশিক্ষণ তথ্যের অভাব
    • ভুল ফাইল ফরম্যাট
  7. How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
    • It must retrain the pretrained backbone for every prompt
    • It can use only one expert for all inputs
    • It can select or weight experts conditionally for a task or layer
    • It removes every low-rank matrix before inference
  8. In a LoRA update with rank r, what does r control most directly?
    • The number of decoder tokens generated
    • The number of original model layers removed
    • The size of the training vocabulary
    • The dimension of the low-rank factors and thus the capacity and parameter cost of the update