แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบจุดตรวจไล่ระดับ
อธิบายการเปิดใช้งานใหม่ การประหยัดหน่วยความจำ ค่าใช้จ่ายในการประมวลผลขึ้นอยู่กับกำหนดการ และการใช้งานร่วมกับการแบ่งส่วนและความแม่นยำแบบผสม
คำถาม 1 ของ 8
จุดตรวจสอบการไล่ระดับสีมีการแลกเปลี่ยนอะไรเป็นหลักเพื่อประหยัดหน่วยความจำ
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- จุดตรวจสอบการไล่ระดับสีมีการแลกเปลี่ยนอะไรเป็นหลักเพื่อประหยัดหน่วยความจำ
- การคำนวณเพิ่มเติม (การคำนวณใหม่) สำหรับการใช้หน่วยความจำที่ต่ำกว่า
- ความแม่นยำของโมเดลสำหรับความเร็ว
- พื้นที่ดิสก์สำหรับแบนด์วิธเครือข่าย
- ความแม่นยำสำหรับขนาดแบทช์
- เหตุใดการเปิดใช้งานปกติจึงถูกจัดเก็บไว้ระหว่างการส่งต่อ?
- เพื่อแสดงให้ผู้ใช้เห็น
- เนื่องจากการถ่ายทอดกลับจำเป็นต้องคำนวณการไล่ระดับสี
- เพื่อเพิ่มความเร็วในการโหลดข้อมูล
- พวกเขาไม่เคยจำเป็นเลยจริงๆ
- In a simplified chain of N similarly sized layers, what can checkpoint boundaries spaced about sqrt(N) layers apart achieve in the textbook schedule?
- It stores no activations and performs no recomputation
- It guarantees constant memory for every model graph
- Activation storage can scale on the order of sqrt(N) checkpoints
- It makes optimizer-state memory scale as sqrt(N)
- What most determines gradient-checkpointing runtime overhead in a practical model?
- Only the model’s file extension
- A fixed 20–30% slowdown for every model
- The number of labels in the dataset
- Which operations are recomputed, checkpoint placement, graph structure, and hardware
- ใน PyTorch ยูทิลิตี้ใดที่มักใช้เพื่อใช้จุดตรวจสอบการไล่ระดับสีกับโมดูล
- torch.utils.จุดตรวจ
- torch.optim.SGD
- torch.nn.การออกกลางคัน
- torch.cuda.empty_cache
- What happens to operations inside a checkpointed region during backward?
- Their gradients are skipped entirely
- Their forward computations are rerun to regenerate needed activations
- Their weights are permanently discarded
- They are executed only during inference
- Which training techniques can be combined with activation checkpointing to reduce different memory costs?
- Only increasing the number of labels
- Turning off backpropagation
- FSDP for sharded model state and mixed precision for lower-precision tensors
- Replacing the model with a tokenizer
- What is selective activation checkpointing intended to choose?
- Which training labels are removed
- Which model outputs are published
- Which GPU becomes the tokenizer
- Which operations to save and which to recompute based on their memory and runtime costs