গাইড লিঙ্ক ক্যুইজ · কঠিন স্তর

ডিস্যাগ্রিগেটেড প্রিফিল এবং ডিকোড সার্ভিং কুইজ

প্রিফিল এবং ডিকোড বাধা, কেভি-ক্যাশে স্থানান্তর, ফেজ হস্তক্ষেপ, রিসোর্স টিউনিং এবং ডিস্যাগ্রিগেটেড সার্ভিং সিস্টেম চেক করে।

প্রশ্ন 1 এর 8

বিভিন্ন GPU পুলগুলিতে প্রিফিল এবং ডিকোড আলাদা করার মূল হার্ডওয়্যার কারণ কী?

প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

  1. বিভিন্ন GPU পুলগুলিতে প্রিফিল এবং ডিকোড আলাদা করার মূল হার্ডওয়্যার কারণ কী?
    • প্রিফিল কম্পিউট-বাউন্ড এবং ডিকোড মেমরি-ব্যান্ডউইথ-বাউন্ড
    • তারা বিভিন্ন প্রোগ্রামিং ভাষা ব্যবহার করে
    • ডিকোডের জন্য প্রিফিলের চেয়ে বেশি বিদ্যুৎ প্রয়োজন
    • প্রিফিল মোটেও GPU তে চলতে পারে না
  2. প্রিফিল কর্মীদের থেকে কর্মীদের ডিকোড করার জন্য কোন ডেটা কাঠামো স্থানান্তর করতে হবে?
    • মডেল ওজন
    • কেভি (কী-মান) ক্যাশে
    • টোকেনাইজার শব্দভাণ্ডার
    • অপ্টিমাইজার অবস্থা
  3. ভাগ করা-জিপিইউ সেটআপে কোন সমস্যাটি বিশেষভাবে হ্রাস করে?
    • GPU ড্রাইভার ক্র্যাশ
    • ইন্টারনেটে নেটওয়ার্ক প্যাকেটের ক্ষতি
    • হেড-অফ-লাইন ব্লকিং যেখানে একটি দীর্ঘ প্রিফিল অন্যদের ডিকোড স্টল করে
    • মডেল হ্যালুসিনেশন
  4. কেন প্রিফিল আক্রমনাত্মকভাবে ব্যাচ করা যেতে পারে কিন্তু বিভিন্ন টিউনিং থেকে ডিকোড সুবিধা?
    • ডিকোড কখনই GPU ব্যবহার করে না
    • প্রিফিল দিনে মাত্র একবার চলে
    • প্রিফিলের সময় ব্যাচিং করা অসম্ভব
    • প্রিফিল টোকেনগুলি সমান্তরালভাবে পড়া হয়, প্রতি পাসে কম্পিউটের সর্বোচ্চ ব্যবহার
  5. বিচ্ছিন্ন পুলগুলির মধ্যে কেভি ক্যাশে সরানোর জন্য কোন আন্তঃসংযোগগুলি সাধারণত ব্যবহৃত হয়?
    • NVLink বা InfiniBand
    • ডায়াল আপ মডেম
    • USB 2.0 কেবল
    • ব্লুটুথ
  6. বিচ্ছিন্ন প্রিফিল/ডিকোড সার্ভিংয়ের সাথে কোন নামের সিস্টেম যুক্ত?
    • TCP, UDP, এবং HTTP
    • ডিস্টসার্ভ, স্প্লিটওয়াইজ এবং মুনকেক
    • ওয়ার্ড, এক্সেল এবং পাওয়ারপয়েন্ট
    • JPEG, PNG, এবং GIF
  7. Why must the KV cache produced during prefill be available to the decode workers?
    • It contains the model’s optimizer state
    • It stores the user’s GPU allocation
    • Decode uses cached prompt keys and values to generate subsequent tokens without recomputing the whole prompt
    • It is needed only to calculate validation accuracy
  8. What is a resource-allocation benefit of separating prefill and decode pools?
    • Both phases must use identical batch sizes
    • The model no longer needs a KV cache
    • The scheduler can eliminate all network communication
    • Each phase can be sized and parallelized for its own compute or memory bottleneck