Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ
Bài kiểm tra cung cấp giải mã và điền trước được phân tách
Kiểm tra các tắc nghẽn điền trước và giải mã, truyền bộ nhớ đệm KV, nhiễu pha, điều chỉnh tài nguyên và các hệ thống phân phối phân tách.
Câu hỏi 1 của 8
Lý do phần cứng cốt lõi để tách phần điền trước và giải mã vào các nhóm GPU khác nhau là gì?
Xem trước mọi câu hỏi8 câu hỏi
Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.
- Lý do phần cứng cốt lõi để tách phần điền trước và giải mã vào các nhóm GPU khác nhau là gì?
- Điền trước bị giới hạn tính toán trong khi giải mã bị giới hạn băng thông bộ nhớ
- Họ sử dụng các ngôn ngữ lập trình khác nhau
- Giải mã cần nhiều điện hơn so với việc điền trước
- Tính năng điền trước hoàn toàn không thể chạy trên GPU
- Cấu trúc dữ liệu nào phải được chuyển từ trình xử lý điền trước sang trình xử lý giải mã?
- Trọng lượng mô hình
- Bộ nhớ đệm KV (khóa-giá trị)
- Từ vựng về tokenizer
- Trạng thái tối ưu hóa
- Việc phân chia cụ thể sẽ giảm thiểu vấn đề nào trong thiết lập GPU dùng chung?
- Trình điều khiển GPU gặp sự cố
- Mất gói mạng trên internet
- Chặn đầu dòng trong đó phần điền trước dài ngăn cản việc giải mã của người khác
- Ảo giác người mẫu
- Tại sao việc điền trước có thể được sắp xếp theo nhóm một cách linh hoạt nhưng lại giải mã được lợi ích từ việc điều chỉnh khác nhau?
- Giải mã không bao giờ sử dụng GPU
- Tính năng điền trước chỉ chạy một lần mỗi ngày
- Không thể tạo khối trong quá trình điền trước
- Mã thông báo điền trước được đọc song song, tối đa hóa mức sử dụng điện toán trên mỗi lượt
- Những kết nối nào thường được sử dụng để di chuyển bộ đệm KV giữa các nhóm phân tách?
- NVLink hoặc InfiniBand
- Các modem quay số
- Cáp USB 2.0
- Bluetooth
- Những hệ thống được đặt tên nào có liên quan đến việc phân phối tiền điền/giải mã được phân tách?
- TCP, UDP và HTTP
- DistServe, Splitwise và Bánh trung thu
- Word, Excel và PowerPoint
- JPEG, PNG và GIF
- Why must the KV cache produced during prefill be available to the decode workers?
- It contains the model’s optimizer state
- It stores the user’s GPU allocation
- Decode uses cached prompt keys and values to generate subsequent tokens without recomputing the whole prompt
- It is needed only to calculate validation accuracy
- What is a resource-allocation benefit of separating prefill and decode pools?
- Both phases must use identical batch sizes
- The model no longer needs a KV cache
- The scheduler can eliminate all network communication
- Each phase can be sized and parallelized for its own compute or memory bottleneck