แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการแลกเปลี่ยนการคำนวณการเปิดใช้งานใหม่
ทดสอบข้อดีข้อเสียของหน่วยความจำในการตรวจสอบการเปิดใช้งาน การคำนวณซ้ำแบบเลือก และความถูกต้องของการเล่นซ้ำ รวมถึงสาเหตุที่การประมวลผลเพิ่มเติมไม่สามารถแก้ไขต้นทุนหน่วยความจำทั้งหมดได้
คำถาม 1 ของ 8
การคำนวณการเปิดใช้งานใหม่จะแลกอะไรเพื่อประหยัดหน่วยความจำ
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- การคำนวณการเปิดใช้งานใหม่จะแลกอะไรเพื่อประหยัดหน่วยความจำ
- ความแม่นยำของแบบจำลอง
- การคำนวณพิเศษ (FLOP)
- แบนด์วิธเครือข่าย
- ความแม่นยำเชิงตัวเลข
- เหตุใดการเปิดใช้งานการส่งต่อโดยปกติจึงถูกเก็บไว้เลย?
- เพื่อแสดงให้ผู้ใช้เห็น
- เพื่อบีบอัดโมเดล
- จำเป็นสำหรับการสร้างโทเค็น
- เนื่องจากการถ่ายทอดกลับจำเป็นต้องคำนวณการไล่ระดับสี
- Why should activation checkpointing overhead be measured on the actual model?
- Checkpoint placement, operators, and hardware determine the cost of replay
- It always adds exactly forty percent to wall-clock time
- It guarantees a tenfold speed improvement
- It removes all forward computation
- For an idealized N-layer chain with comparable activations, what storage scaling can square-root checkpoint placement achieve?
- O(N squared) for all model parameters
- O(1) for all training memory regardless of N
- O(sqrt(N)) for activation storage
- O(N squared) for optimizer state
- แนวคิดเบื้องหลังการคำนวณแบบเลือกสรร (ไม่เต็ม) คืออะไร
- คำนวณทุกการดำเนินการใหม่สองครั้ง
- ไม่เคยคำนวณอะไรใหม่
- คำนวณใหม่เฉพาะเลเยอร์การฝังเท่านั้น
- คำนวณใหม่เฉพาะการดำเนินการที่มีหน่วยความจำหนักแต่มีราคาถูก และแคชราคาแพง
- เทคนิคเสริมใดที่มักใช้ร่วมกับการคำนวณใหม่เพื่อประหยัดหน่วยความจำมากยิ่งขึ้น
- การเพิ่มขนาดแบทช์
- กำลังถ่ายโอนการเปิดใช้งานไปยัง CPU หรือ NVMe
- การลบเลเยอร์การทำให้เป็นมาตรฐานทั้งหมด
- เปลี่ยนเป็นโหมดการอนุมาน
- A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
- Dropout becomes a model-weight quantizer
- The optimizer no longer needs gradients
- Backward recomputation should reproduce the intended forward randomness
- The batch size must become one
- Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
- Activation recomputation does not remove optimizer-state storage
- Checkpointing increases every optimizer tensor to FP64
- Backward no longer consumes any memory
- The model cannot use checkpointing with an optimizer