Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Bài kiểm tra theo đợt liên tục

Áp dụng tính năng phân lô LLM cấp độ lặp lại, giới hạn dung lượng và cân bằng điền trước, bao gồm cả lý do tại sao việc tiếp nhận yêu cầu liên tục không đảm bảo không phải chờ đợi.

Đường dẫn hướng dẫn liên quanTrộn liên tục
Câu hỏi 1 của 8

Điểm yếu chính của việc phân nhóm tĩnh (cố định) để phục vụ LLM là gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Điểm yếu chính của việc phân nhóm tĩnh (cố định) để phục vụ LLM là gì?
    • Nó chỉ có thể chạy trên CPU
    • Nó yêu cầu ghi nhãn tất cả dữ liệu trước
    • Các yêu cầu ngắn kết thúc sớm nhưng vị trí của chúng không hoạt động trong khi đợt chờ đợi yêu cầu dài nhất
    • Nó làm cho mô hình kém chính xác hơn
  2. Việc phân nhóm liên tục thêm và xóa yêu cầu ở mức độ chi tiết nào?
    • Một lần mỗi ngày
    • Mỗi bước giải mã (mỗi lần một mã thông báo)
    • Chỉ theo yêu cầu đầy đủ
    • Mỗi giai đoạn đào tạo
  3. A continuous-batching request finishes and frees capacity. What can the scheduler do next?
    • Restart every remaining request from its first token
    • Guarantee every queued request runs immediately
    • Discard the finished answer without returning it
    • Admit eligible queued work if its resource budgets allow
  4. Kỹ thuật nào kết hợp một cách tự nhiên với việc tạo khối liên tục để làm cho việc chèn/xóa các chuỗi trở nên rẻ tiền?
    • Bộ đệm KV dựa trên khối của PagedAttention
    • Độ chính xác gấp đôi FP32
    • Trao đổi đĩa
    • Ghi nhãn dữ liệu thủ công
  5. Bài nghiên cứu nào thường được ghi nhận là phổ biến việc phân nhóm cấp độ lặp (liên tục)?
    • Giấy biến áp gốc
    • Giấy Orca
    • Một bài viết về cơ sở dữ liệu những năm 1980
    • Bài báo ImageNet
  6. What utilization problem can continuous batching reduce compared with a fixed request batch?
    • Every model accuracy error
    • The need to store any KV cache
    • All queueing at any traffic rate
    • Waiting for the longest request before admitting new eligible work
  7. A continuous-batching server has reached its memory budget. Must a newly arrived request enter the next iteration?
    • No; admission can wait until suitable capacity is available
    • Yes; the name guarantees unlimited request admission
    • Yes; the server removes all active outputs automatically
    • Only if the request has no punctuation
  8. A long prompt’s prefill delays tokens for already decoding requests. Which serving objective exposes that tradeoff?
    • Measure only the weight-file name
    • Assume more admitted prompts always improve every latency
    • Measure time between decode tokens alongside throughput
    • Count only the number of model layers