গাইড লিঙ্ক ক্যুইজ · কঠিন স্তর
ডিস্যাগ্রিগেটেড প্রিফিল এবং ডিকোড সার্ভিং কুইজ
প্রিফিল এবং ডিকোড বাধা, কেভি-ক্যাশে স্থানান্তর, ফেজ হস্তক্ষেপ, রিসোর্স টিউনিং এবং ডিস্যাগ্রিগেটেড সার্ভিং সিস্টেম চেক করে।
প্রশ্ন 1 এর 8
বিভিন্ন GPU পুলগুলিতে প্রিফিল এবং ডিকোড আলাদা করার মূল হার্ডওয়্যার কারণ কী?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- বিভিন্ন GPU পুলগুলিতে প্রিফিল এবং ডিকোড আলাদা করার মূল হার্ডওয়্যার কারণ কী?
- প্রিফিল কম্পিউট-বাউন্ড এবং ডিকোড মেমরি-ব্যান্ডউইথ-বাউন্ড
- তারা বিভিন্ন প্রোগ্রামিং ভাষা ব্যবহার করে
- ডিকোডের জন্য প্রিফিলের চেয়ে বেশি বিদ্যুৎ প্রয়োজন
- প্রিফিল মোটেও GPU তে চলতে পারে না
- প্রিফিল কর্মীদের থেকে কর্মীদের ডিকোড করার জন্য কোন ডেটা কাঠামো স্থানান্তর করতে হবে?
- মডেল ওজন
- কেভি (কী-মান) ক্যাশে
- টোকেনাইজার শব্দভাণ্ডার
- অপ্টিমাইজার অবস্থা
- ভাগ করা-জিপিইউ সেটআপে কোন সমস্যাটি বিশেষভাবে হ্রাস করে?
- GPU ড্রাইভার ক্র্যাশ
- ইন্টারনেটে নেটওয়ার্ক প্যাকেটের ক্ষতি
- হেড-অফ-লাইন ব্লকিং যেখানে একটি দীর্ঘ প্রিফিল অন্যদের ডিকোড স্টল করে
- মডেল হ্যালুসিনেশন
- কেন প্রিফিল আক্রমনাত্মকভাবে ব্যাচ করা যেতে পারে কিন্তু বিভিন্ন টিউনিং থেকে ডিকোড সুবিধা?
- ডিকোড কখনই GPU ব্যবহার করে না
- প্রিফিল দিনে মাত্র একবার চলে
- প্রিফিলের সময় ব্যাচিং করা অসম্ভব
- প্রিফিল টোকেনগুলি সমান্তরালভাবে পড়া হয়, প্রতি পাসে কম্পিউটের সর্বোচ্চ ব্যবহার
- বিচ্ছিন্ন পুলগুলির মধ্যে কেভি ক্যাশে সরানোর জন্য কোন আন্তঃসংযোগগুলি সাধারণত ব্যবহৃত হয়?
- NVLink বা InfiniBand
- ডায়াল আপ মডেম
- USB 2.0 কেবল
- ব্লুটুথ
- বিচ্ছিন্ন প্রিফিল/ডিকোড সার্ভিংয়ের সাথে কোন নামের সিস্টেম যুক্ত?
- TCP, UDP, এবং HTTP
- ডিস্টসার্ভ, স্প্লিটওয়াইজ এবং মুনকেক
- ওয়ার্ড, এক্সেল এবং পাওয়ারপয়েন্ট
- JPEG, PNG, এবং GIF
- Why must the KV cache produced during prefill be available to the decode workers?
- It contains the model’s optimizer state
- It stores the user’s GPU allocation
- Decode uses cached prompt keys and values to generate subsequent tokens without recomputing the whole prompt
- It is needed only to calculate validation accuracy
- What is a resource-allocation benefit of separating prefill and decode pools?
- Both phases must use identical batch sizes
- The model no longer needs a KV cache
- The scheduler can eliminate all network communication
- Each phase can be sized and parallelized for its own compute or memory bottleneck