แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบจุดตรวจไล่ระดับ

อธิบายการเปิดใช้งานใหม่ การประหยัดหน่วยความจำ ค่าใช้จ่ายในการประมวลผลขึ้นอยู่กับกำหนดการ และการใช้งานร่วมกับการแบ่งส่วนและความแม่นยำแบบผสม

เส้นทางแนะนำที่เกี่ยวข้องจุดตรวจไล่ระดับ
คำถาม 1 ของ 8

จุดตรวจสอบการไล่ระดับสีมีการแลกเปลี่ยนอะไรเป็นหลักเพื่อประหยัดหน่วยความจำ

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. จุดตรวจสอบการไล่ระดับสีมีการแลกเปลี่ยนอะไรเป็นหลักเพื่อประหยัดหน่วยความจำ
    • การคำนวณเพิ่มเติม (การคำนวณใหม่) สำหรับการใช้หน่วยความจำที่ต่ำกว่า
    • ความแม่นยำของโมเดลสำหรับความเร็ว
    • พื้นที่ดิสก์สำหรับแบนด์วิธเครือข่าย
    • ความแม่นยำสำหรับขนาดแบทช์
  2. เหตุใดการเปิดใช้งานปกติจึงถูกจัดเก็บไว้ระหว่างการส่งต่อ?
    • เพื่อแสดงให้ผู้ใช้เห็น
    • เนื่องจากการถ่ายทอดกลับจำเป็นต้องคำนวณการไล่ระดับสี
    • เพื่อเพิ่มความเร็วในการโหลดข้อมูล
    • พวกเขาไม่เคยจำเป็นเลยจริงๆ
  3. In a simplified chain of N similarly sized layers, what can checkpoint boundaries spaced about sqrt(N) layers apart achieve in the textbook schedule?
    • It stores no activations and performs no recomputation
    • It guarantees constant memory for every model graph
    • Activation storage can scale on the order of sqrt(N) checkpoints
    • It makes optimizer-state memory scale as sqrt(N)
  4. What most determines gradient-checkpointing runtime overhead in a practical model?
    • Only the model’s file extension
    • A fixed 20–30% slowdown for every model
    • The number of labels in the dataset
    • Which operations are recomputed, checkpoint placement, graph structure, and hardware
  5. ใน PyTorch ยูทิลิตี้ใดที่มักใช้เพื่อใช้จุดตรวจสอบการไล่ระดับสีกับโมดูล
    • torch.utils.จุดตรวจ
    • torch.optim.SGD
    • torch.nn.การออกกลางคัน
    • torch.cuda.empty_cache
  6. What happens to operations inside a checkpointed region during backward?
    • Their gradients are skipped entirely
    • Their forward computations are rerun to regenerate needed activations
    • Their weights are permanently discarded
    • They are executed only during inference
  7. Which training techniques can be combined with activation checkpointing to reduce different memory costs?
    • Only increasing the number of labels
    • Turning off backpropagation
    • FSDP for sharded model state and mixed precision for lower-precision tensors
    • Replacing the model with a tokenizer
  8. What is selective activation checkpointing intended to choose?
    • Which training labels are removed
    • Which model outputs are published
    • Which GPU becomes the tokenizer
    • Which operations to save and which to recompute based on their memory and runtime costs