গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর
এলএলএম ইনফারেন্স রাউটিং এবং লোড ব্যালেন্সিং কুইজ
LLM অনুমানের জন্য প্রতিরূপ এবং মডেল রাউটিং, ক্যাশ অ্যাফিনিটি, লাইভ টেলিমেট্রি, পরিবর্তনশীল টোকেন খরচ এবং লেটেন্সি-সচেতন গুডপুট পরীক্ষা করে।
প্রশ্ন 1 এর 8
কেন প্লেইন রাউন্ড-রবিন প্রায়ই এলএলএম অনুমানের জন্য একটি দুর্বল লোড-ব্যালেন্সিং কৌশল?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- কেন প্লেইন রাউন্ড-রবিন প্রায়ই এলএলএম অনুমানের জন্য একটি দুর্বল লোড-ব্যালেন্সিং কৌশল?
- অনুরোধগুলি খরচের মধ্যে ব্যাপকভাবে পরিবর্তিত হয় এবং প্রতিলিপিগুলি স্টিকি কেভি ক্যাশে ধারণ করে৷
- এটি বেশিরভাগ দেশেই অবৈধ
- রাউন্ড-রবিন শুধুমাত্র ডাটাবেসের জন্য কাজ করে
- এটি চালানোর জন্য একটি GPU প্রয়োজন
- 'প্রিফিক্স-ক্যাশে অ্যাফিনিটি' রাউটিং কী অর্জন করার চেষ্টা করছে?
- একটি এলোমেলো GPU প্রতিটি অনুরোধ পাঠানো
- প্রতিলিপিতে একটি অনুরোধ রাউটিং করা যা ইতিমধ্যেই এর প্রম্পট উপসর্গ ক্যাশে করেছে
- পাঠানোর আগে প্রম্পট এনক্রিপ্ট করা হচ্ছে
- মডেলের ওজন সংকুচিত করা
- অসুবিধা-ভিত্তিক মডেল রাউটিং-এ, সাধারণত একটি সহজ প্রশ্নে কী ঘটে?
- এটা প্রত্যাখ্যাত হয়
- এটি উপলব্ধ বৃহত্তম মডেল পাঠানো হয়
- এটি একটি ছোট, সস্তা মডেলে পাঠানো হয়
- এটি 24 ঘন্টার জন্য সারিবদ্ধ
- কোন লাইভ সংকেত একটি LLM-সচেতন লোড ব্যালেন্সারের জন্য সবচেয়ে দরকারী?
- সার্ভারের হোস্টনামের দৈর্ঘ্য
- আলনা রং
- শুধুমাত্র ব্যবহারকারীর সময় অঞ্চল
- প্রতিটি প্রতিরূপের সারির গভীরতা এবং কেভি-ক্যাশে দখল
- LiteLLM-এর মতো একটি টুল মাল্টি-প্রোভাইডার সেটআপে কী প্রদান করে?
- একটি একক প্রক্সি যা অনেক মডেল প্রদানকারী জুড়ে ভারসাম্য বজায় রাখে এবং ব্যর্থ হয়
- একটি নতুন ট্রান্সফরমার আর্কিটেকচার
- একটি GPU কুলিং সিস্টেম
- টোকেনাইজারের প্রতিস্থাপন
- ভারসাম্য বজায় রাখার জন্য কেন একটি দীর্ঘ-আউটপুট অনুরোধ অনেক ছোটকে ছাড়িয়ে যেতে পারে?
- দীর্ঘ আউটপুট কোন সম্পদ ব্যবহার করে না
- প্রতিটি আউটপুট টোকেনের জন্য একটি সম্পূর্ণ ফরওয়ার্ড পাস খরচ হয়, তাই মোট টোকেন লোড অনুরোধের সংখ্যার চেয়ে বেশি গুরুত্বপূর্ণ
- ছোট অনুরোধ সবসময় ধীর হয়
- রাউটার মোটেই আউটপুট দৈর্ঘ্য দেখতে পারে না
- A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
- মডেল প্যারামিটারের মোট সংখ্যা
- Only the number of HTTP connections opened
- Requests served while meeting the specified latency or service-level targets
- The fraction of requests that use the largest model
- A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
- Tokenization followed by decoding
- Training followed by fine-tuning
- Prefill followed by prompt construction
- Model routing followed by replica load balancing