গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর

এলএলএম ইনফারেন্স রাউটিং এবং লোড ব্যালেন্সিং কুইজ

LLM অনুমানের জন্য প্রতিরূপ এবং মডেল রাউটিং, ক্যাশ অ্যাফিনিটি, লাইভ টেলিমেট্রি, পরিবর্তনশীল টোকেন খরচ এবং লেটেন্সি-সচেতন গুডপুট পরীক্ষা করে।

প্রশ্ন 1 এর 8

কেন প্লেইন রাউন্ড-রবিন প্রায়ই এলএলএম অনুমানের জন্য একটি দুর্বল লোড-ব্যালেন্সিং কৌশল?

প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

  1. কেন প্লেইন রাউন্ড-রবিন প্রায়ই এলএলএম অনুমানের জন্য একটি দুর্বল লোড-ব্যালেন্সিং কৌশল?
    • অনুরোধগুলি খরচের মধ্যে ব্যাপকভাবে পরিবর্তিত হয় এবং প্রতিলিপিগুলি স্টিকি কেভি ক্যাশে ধারণ করে৷
    • এটি বেশিরভাগ দেশেই অবৈধ
    • রাউন্ড-রবিন শুধুমাত্র ডাটাবেসের জন্য কাজ করে
    • এটি চালানোর জন্য একটি GPU প্রয়োজন
  2. 'প্রিফিক্স-ক্যাশে অ্যাফিনিটি' রাউটিং কী অর্জন করার চেষ্টা করছে?
    • একটি এলোমেলো GPU প্রতিটি অনুরোধ পাঠানো
    • প্রতিলিপিতে একটি অনুরোধ রাউটিং করা যা ইতিমধ্যেই এর প্রম্পট উপসর্গ ক্যাশে করেছে
    • পাঠানোর আগে প্রম্পট এনক্রিপ্ট করা হচ্ছে
    • মডেলের ওজন সংকুচিত করা
  3. অসুবিধা-ভিত্তিক মডেল রাউটিং-এ, সাধারণত একটি সহজ প্রশ্নে কী ঘটে?
    • এটা প্রত্যাখ্যাত হয়
    • এটি উপলব্ধ বৃহত্তম মডেল পাঠানো হয়
    • এটি একটি ছোট, সস্তা মডেলে পাঠানো হয়
    • এটি 24 ঘন্টার জন্য সারিবদ্ধ
  4. কোন লাইভ সংকেত একটি LLM-সচেতন লোড ব্যালেন্সারের জন্য সবচেয়ে দরকারী?
    • সার্ভারের হোস্টনামের দৈর্ঘ্য
    • আলনা রং
    • শুধুমাত্র ব্যবহারকারীর সময় অঞ্চল
    • প্রতিটি প্রতিরূপের সারির গভীরতা এবং কেভি-ক্যাশে দখল
  5. LiteLLM-এর মতো একটি টুল মাল্টি-প্রোভাইডার সেটআপে কী প্রদান করে?
    • একটি একক প্রক্সি যা অনেক মডেল প্রদানকারী জুড়ে ভারসাম্য বজায় রাখে এবং ব্যর্থ হয়
    • একটি নতুন ট্রান্সফরমার আর্কিটেকচার
    • একটি GPU কুলিং সিস্টেম
    • টোকেনাইজারের প্রতিস্থাপন
  6. ভারসাম্য বজায় রাখার জন্য কেন একটি দীর্ঘ-আউটপুট অনুরোধ অনেক ছোটকে ছাড়িয়ে যেতে পারে?
    • দীর্ঘ আউটপুট কোন সম্পদ ব্যবহার করে না
    • প্রতিটি আউটপুট টোকেনের জন্য একটি সম্পূর্ণ ফরওয়ার্ড পাস খরচ হয়, তাই মোট টোকেন লোড অনুরোধের সংখ্যার চেয়ে বেশি গুরুত্বপূর্ণ
    • ছোট অনুরোধ সবসময় ধীর হয়
    • রাউটার মোটেই আউটপুট দৈর্ঘ্য দেখতে পারে না
  7. A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
    • মডেল প্যারামিটারের মোট সংখ্যা
    • Only the number of HTTP connections opened
    • Requests served while meeting the specified latency or service-level targets
    • The fraction of requests that use the largest model
  8. A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
    • Tokenization followed by decoding
    • Training followed by fine-tuning
    • Prefill followed by prompt construction
    • Model routing followed by replica load balancing