Bài kiểm tra phân mảnh và quản lý bộ nhớ GPU

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Phân mảnh bộ nhớ GPU là gì?
   • Khi GPU bị hỏng về mặt vật lý
   • Khi mô hình có quá nhiều lớp
   • Khi hai GPU không đồng ý về một kết quả
   • Khi bộ nhớ trống được chia thành các phần rải rác quá nhỏ để đáp ứng yêu cầu liền kề lớn
2. Tại sao các khung như PyTorch sử dụng bộ cấp phát bộ nhớ đệm?
   • Để làm cho mô hình chính xác hơn
   • Để tránh việc phân bổ trình điều khiển trực tiếp/cuộc gọi miễn phí chậm bằng cách sử dụng lại các khối bộ nhớ gộp
   • Để mã hóa trọng số
   • Để giảm số lượng GPU cần thiết xuống còn một
3. A CUDA allocation fails despite apparently unused reserved memory. What should a developer investigate?
   • Whether fragmentation is proven by the error alone
   • Whether all live tensors have already been freed
   • Whether inactive split blocks or other allocations explain the failure
   • Whether changing the learning rate releases GPU memory
4. Which PyTorch allocator option can be tested for changing-size workloads that leave unused memory slivers?
   • Expandable segments in the allocator configuration
   • Increasing every tensor dimension
   • Disabling the GPU cooling system
   • Increasing the optimizer learning rate
5. PagedAttention của vLLM quản lý điều gì để giảm lãng phí bộ nhớ trong quá trình suy luận?
   • Dữ liệu huấn luyện của mô hình
   • Bộ nhớ đệm khóa-giá trị (KV) chú ý, sử dụng các trang có kích thước cố định
   • Tốc độ xung nhịp của GPU
   • Kích thước phông chữ của nhật ký
6. Kỹ thuật nào giảm bộ nhớ kích hoạt để giúp tránh lỗi hết bộ nhớ?
   • Thêm nhiều lớp hơn
   • Sử dụng thời gian khởi động tốc độ học tập dài hơn
   • Điểm kiểm tra độ dốc (tính toán lại)
   • Lưu nhiều điểm kiểm tra hơn vào đĩa
7. A live CUDA tensor still has Python references. Will empty_cache release that tensor’s allocation?
   • No; it releases unused cached memory rather than live tensor storage
   • Yes; it deletes every referenced tensor
   • Yes; it moves the tensor automatically to NVMe
   • Only if the tensor contains zero values
8. PyTorch reports reserved memory greater than allocated memory. What distinction explains the gap?
   • Reserved memory measures only CPU RAM
   • Allocated memory includes every process on the GPU
   • The difference directly proves a model accuracy error
   • The allocator can retain cached blocks beyond memory currently used by tensors