แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการแลกเปลี่ยนการคำนวณการเปิดใช้งานใหม่

ทดสอบข้อดีข้อเสียของหน่วยความจำในการตรวจสอบการเปิดใช้งาน การคำนวณซ้ำแบบเลือก และความถูกต้องของการเล่นซ้ำ รวมถึงสาเหตุที่การประมวลผลเพิ่มเติมไม่สามารถแก้ไขต้นทุนหน่วยความจำทั้งหมดได้

คำถาม 1 ของ 8

การคำนวณการเปิดใช้งานใหม่จะแลกอะไรเพื่อประหยัดหน่วยความจำ

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. การคำนวณการเปิดใช้งานใหม่จะแลกอะไรเพื่อประหยัดหน่วยความจำ
    • ความแม่นยำของแบบจำลอง
    • การคำนวณพิเศษ (FLOP)
    • แบนด์วิธเครือข่าย
    • ความแม่นยำเชิงตัวเลข
  2. เหตุใดการเปิดใช้งานการส่งต่อโดยปกติจึงถูกเก็บไว้เลย?
    • เพื่อแสดงให้ผู้ใช้เห็น
    • เพื่อบีบอัดโมเดล
    • จำเป็นสำหรับการสร้างโทเค็น
    • เนื่องจากการถ่ายทอดกลับจำเป็นต้องคำนวณการไล่ระดับสี
  3. Why should activation checkpointing overhead be measured on the actual model?
    • Checkpoint placement, operators, and hardware determine the cost of replay
    • It always adds exactly forty percent to wall-clock time
    • It guarantees a tenfold speed improvement
    • It removes all forward computation
  4. For an idealized N-layer chain with comparable activations, what storage scaling can square-root checkpoint placement achieve?
    • O(N squared) for all model parameters
    • O(1) for all training memory regardless of N
    • O(sqrt(N)) for activation storage
    • O(N squared) for optimizer state
  5. แนวคิดเบื้องหลังการคำนวณแบบเลือกสรร (ไม่เต็ม) คืออะไร
    • คำนวณทุกการดำเนินการใหม่สองครั้ง
    • ไม่เคยคำนวณอะไรใหม่
    • คำนวณใหม่เฉพาะเลเยอร์การฝังเท่านั้น
    • คำนวณใหม่เฉพาะการดำเนินการที่มีหน่วยความจำหนักแต่มีราคาถูก และแคชราคาแพง
  6. เทคนิคเสริมใดที่มักใช้ร่วมกับการคำนวณใหม่เพื่อประหยัดหน่วยความจำมากยิ่งขึ้น
    • การเพิ่มขนาดแบทช์
    • กำลังถ่ายโอนการเปิดใช้งานไปยัง CPU หรือ NVMe
    • การลบเลเยอร์การทำให้เป็นมาตรฐานทั้งหมด
    • เปลี่ยนเป็นโหมดการอนุมาน
  7. A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
    • Dropout becomes a model-weight quantizer
    • The optimizer no longer needs gradients
    • Backward recomputation should reproduce the intended forward randomness
    • The batch size must become one
  8. Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
    • Activation recomputation does not remove optimizer-state storage
    • Checkpointing increases every optimizer tensor to FP64
    • Backward no longer consumes any memory
    • The model cannot use checkpointing with an optimizer