แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการจัดการหน่วยความจำ GPU และการแยกส่วน

ทดสอบ GPU ที่จัดสรรเทียบกับหน่วยความจำที่สงวนไว้ การใช้ตัวจัดสรรซ้ำ และการวินิจฉัยการแยกส่วน รวมถึงขีดจำกัดของ Empty_cache และส่วนที่ขยายได้

คำถาม 1 ของ 8

การกระจายตัวของหน่วยความจำ GPU คืออะไร?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. การกระจายตัวของหน่วยความจำ GPU คืออะไร?
    • เมื่อ GPU แยกออกจากกัน
    • เมื่อโมเดลมีเลเยอร์มากเกินไป
    • เมื่อ GPU สองตัวไม่เห็นด้วยกับผลลัพธ์
    • เมื่อหน่วยความจำว่างถูกแบ่งออกเป็นส่วนที่กระจัดกระจายซึ่งเล็กเกินไปที่จะตอบสนองคำขอขนาดใหญ่ที่อยู่ติดกัน
  2. เหตุใดเฟรมเวิร์กอย่าง PyTorch จึงใช้ตัวจัดสรรหน่วยความจำแคช
    • เพื่อให้โมเดลมีความแม่นยำมากขึ้น
    • เพื่อหลีกเลี่ยงการจัดสรรไดรเวอร์โดยตรงที่ช้า/การโทรฟรีโดยการนำบล็อกหน่วยความจำที่รวมกลุ่มมาใช้ซ้ำ
    • เพื่อเข้ารหัสน้ำหนัก
    • เพื่อลดจำนวน GPU ที่จำเป็นลงเหลือหนึ่งตัว
  3. A CUDA allocation fails despite apparently unused reserved memory. What should a developer investigate?
    • Whether fragmentation is proven by the error alone
    • Whether all live tensors have already been freed
    • Whether inactive split blocks or other allocations explain the failure
    • Whether changing the learning rate releases GPU memory
  4. Which PyTorch allocator option can be tested for changing-size workloads that leave unused memory slivers?
    • Expandable segments in the allocator configuration
    • Increasing every tensor dimension
    • Disabling the GPU cooling system
    • Increasing the optimizer learning rate
  5. PagedAttention ของ vLLM จัดการอะไรเพื่อลดการสิ้นเปลืองหน่วยความจำระหว่างการอนุมาน
    • ข้อมูลการฝึกของโมเดล
    • แคชคีย์-ค่าความสนใจ (KV) โดยใช้เพจที่มีขนาดคงที่
    • ความเร็วสัญญาณนาฬิกาของ GPU
    • ขนาดตัวอักษรของบันทึก
  6. เทคนิคใดจะลดการเปิดใช้งานหน่วยความจำเพื่อช่วยหลีกเลี่ยงข้อผิดพลาดหน่วยความจำไม่เพียงพอ
    • การเพิ่มชั้นมากขึ้น
    • ใช้การวอร์มอัพอัตราการเรียนรู้ที่นานขึ้น
    • จุดตรวจไล่ระดับ (การคำนวณใหม่)
    • บันทึกจุดตรวจลงดิสก์มากขึ้น
  7. A live CUDA tensor still has Python references. Will empty_cache release that tensor’s allocation?
    • No; it releases unused cached memory rather than live tensor storage
    • Yes; it deletes every referenced tensor
    • Yes; it moves the tensor automatically to NVMe
    • Only if the tensor contains zero values
  8. PyTorch reports reserved memory greater than allocated memory. What distinction explains the gap?
    • Reserved memory measures only CPU RAM
    • Allocated memory includes every process on the GPU
    • The difference directly proves a model accuracy error
    • The allocator can retain cached blocks beyond memory currently used by tensors