اختبار مرتبط بالدليل · صعب المستوى

مسابقة الخلط المستمر

قم بتطبيق تجميع LLM على مستوى التكرار، وحدود السعة، ومقايضات التعبئة المسبقة، بما في ذلك لماذا لا يضمن قبول الطلبات بشكل مستمر عدم الانتظار.

مسارات الدليل ذات الصلةالخلط المستمر
سؤال 1 من 8

ما هي نقطة الضعف الرئيسية في الدفعات الثابتة (الثابتة) لخدمة LLM؟

معاينة كل سؤال8 أسئلة

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

  1. ما هي نقطة الضعف الرئيسية في الدفعات الثابتة (الثابتة) لخدمة LLM؟
    • يمكن تشغيله فقط على وحدات المعالجة المركزية (CPUs).
    • يتطلب تصنيف جميع البيانات أولاً
    • تنتهي الطلبات القصيرة مبكرًا ولكن فتحاتها خاملة بينما تنتظر الدفعة أطولها
    • يجعل النموذج أقل دقة
  2. ما هي التفاصيل التي يضيفها الدفع المستمر للطلبات ويزيلها؟
    • مرة واحدة يوميا
    • لكل خطوة فك التشفير (رمز واحد في كل مرة)
    • لكل طلب كامل فقط
    • لكل فترة التدريب
  3. A continuous-batching request finishes and frees capacity. What can the scheduler do next?
    • Restart every remaining request from its first token
    • Guarantee every queued request runs immediately
    • Discard the finished answer without returning it
    • Admit eligible queued work if its resource budgets allow
  4. ما هي التقنية التي تتزاوج بشكل طبيعي مع الدفع المستمر لجعل عملية إدراج/إزالة التسلسلات رخيصة؟
    • ذاكرة التخزين المؤقت KV المستندة إلى كتلة PagedAttention
    • FP32 دقة مزدوجة
    • مبادلة القرص
    • وضع العلامات اليدوية على البيانات
  5. ما هي الورقة البحثية التي يُنسب إليها عادة تعميم التجميع على مستوى التكرار (المستمر)؟
    • ورق المحولات الأصلي
    • ورقة أوركا
    • ورقة قاعدة البيانات في الثمانينات
    • ورقة إيماج نت
  6. What utilization problem can continuous batching reduce compared with a fixed request batch?
    • Every model accuracy error
    • The need to store any KV cache
    • All queueing at any traffic rate
    • Waiting for the longest request before admitting new eligible work
  7. A continuous-batching server has reached its memory budget. Must a newly arrived request enter the next iteration?
    • No; admission can wait until suitable capacity is available
    • Yes; the name guarantees unlimited request admission
    • Yes; the server removes all active outputs automatically
    • Only if the request has no punctuation
  8. A long prompt’s prefill delays tokens for already decoding requests. Which serving objective exposes that tradeoff?
    • Measure only the weight-file name
    • Assume more admitted prompts always improve every latency
    • Measure time between decode tokens alongside throughput
    • Count only the number of model layers