Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ
Bài kiểm tra cân bằng tải và định tuyến suy luận LLM
Kiểm tra định tuyến bản sao và mô hình, mối quan hệ của bộ đệm, đo từ xa trực tiếp, chi phí mã thông báo thay đổi và thông số nhận biết độ trễ cho suy luận LLM.
Câu hỏi 1 của 8
Tại sao tính năng quay vòng đơn giản thường là chiến lược cân bằng tải kém cho suy luận LLM?
Xem trước mọi câu hỏi8 câu hỏi
Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.
- Tại sao tính năng quay vòng đơn giản thường là chiến lược cân bằng tải kém cho suy luận LLM?
- Các yêu cầu rất khác nhau về chi phí và các bản sao chứa bộ đệm KV cố định
- Nó là bất hợp pháp ở hầu hết các nước
- Round-robin chỉ hoạt động cho cơ sở dữ liệu
- Nó yêu cầu GPU để chạy
- Định tuyến 'mối quan hệ tiền tố-bộ nhớ đệm' đang cố gắng đạt được điều gì?
- Gửi từng yêu cầu tới GPU ngẫu nhiên
- Định tuyến yêu cầu đến bản sao đã lưu tiền tố nhắc của nó vào bộ nhớ đệm
- Mã hóa lời nhắc trước khi gửi
- Nén trọng lượng mô hình
- Trong định tuyến mô hình dựa trên độ khó, điều gì thường xảy ra với một truy vấn dễ?
- Nó bị từ chối
- Nó được gửi đến mô hình lớn nhất hiện có
- Nó được gửi đến một mô hình nhỏ, rẻ hơn
- Nó được xếp hàng trong 24 giờ
- Tín hiệu trực tiếp nào hữu ích nhất cho bộ cân bằng tải nhận biết LLM?
- Độ dài tên máy chủ của máy chủ
- Màu sắc của giá đỡ
- Chỉ múi giờ của người dùng
- Độ sâu hàng đợi và mức độ chiếm dụng bộ đệm KV của mỗi bản sao
- Một công cụ như LiteLLM cung cấp những gì trong thiết lập nhiều nhà cung cấp?
- Một proxy duy nhất cân bằng và thất bại trên nhiều nhà cung cấp mô hình
- Cấu trúc máy biến áp mới
- Hệ thống làm mát GPU
- Một sự thay thế cho tokenizer
- Tại sao một yêu cầu đầu ra dài có thể lớn hơn nhiều yêu cầu đầu ra ngắn để cân bằng?
- Đầu ra dài không sử dụng tài nguyên
- Mỗi mã thông báo đầu ra đều tốn một lượt chuyển tiếp đầy đủ, do đó, tổng số lần tải mã thông báo quan trọng hơn số lượng yêu cầu
- Yêu cầu ngắn luôn chậm hơn
- Bộ định tuyến hoàn toàn không thể thấy độ dài đầu ra
- A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
- Tổng số tham số mô hình
- Only the number of HTTP connections opened
- Requests served while meeting the specified latency or service-level targets
- The fraction of requests that use the largest model
- A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
- Tokenization followed by decoding
- Training followed by fine-tuning
- Prefill followed by prompt construction
- Model routing followed by replica load balancing