แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

สถานะของเครื่องมือเพิ่มประสิทธิภาพการถ่ายข้อมูลไปยัง CPU และ NVMe Quiz

ใช้ตัวเพิ่มประสิทธิภาพการถ่ายบัญชีหน่วยความจำ ตำแหน่งการอัปเดตโฮสต์ และการแลกเปลี่ยนการแลกเปลี่ยน รวมถึงสาเหตุที่การถ่ายข้อมูลไม่ลบการจัดสรร GPU ทั้งหมด

คำถาม 1 ของ 8

เป้าหมายหลักของการลดการโหลดสถานะเครื่องมือเพิ่มประสิทธิภาพไปยัง CPU หรือ NVMe คืออะไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. เป้าหมายหลักของการลดการโหลดสถานะเครื่องมือเพิ่มประสิทธิภาพไปยัง CPU หรือ NVMe คืออะไร
    • เพื่อให้โมเดลมีความแม่นยำมากขึ้น
    • เพื่อลดจำนวนยุคการฝึกอบรมที่จำเป็น
    • เพื่อขจัดความจำเป็นในการไล่ระดับสีโดยสิ้นเชิง
    • เพื่อให้พอดีกับโมเดลขนาดใหญ่โดยการเพิ่มหน่วยความจำ GPU ที่ขาดแคลน
  2. For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
    • Two bytes for all three values
    • Twelve bytes, excluding model weights and gradients
    • Sixteen bytes for the three values alone
    • Zero bytes because they are implicit
  3. เฟรมเวิร์กใดมีฟีเจอร์การออฟโหลดเครื่องมือเพิ่มประสิทธิภาพขนาดใหญ่ที่ได้รับความนิยม
    • ฟังก์ชั่นการเปิดใช้งานใหม่
    • การบีบอัดภาพ JPEG
    • DeepSpeed ZeRO-ออฟโหลด และ ZeRO-Infinity
    • การตัดแบบไล่ระดับสี
  4. ต้นทุนประสิทธิภาพหลักในการลดการโหลดไปยัง CPU หรือ NVMe คืออะไร
    • ข้อมูลจะต้องเดินทางผ่านลิงก์ที่ช้ากว่า เช่น PCIe หรือไปยังดิสก์ ซึ่งเพิ่มความหน่วง
    • โมเดลลืมการฝึกก่อนหน้านี้
    • เครื่องมือเพิ่มประสิทธิภาพจะไม่ถูกต้องทางคณิตศาสตร์
    • อุณหภูมิ GPU ลดลงต่ำเกินไป
  5. ระบบออฟโหลดจะซ่อนเวลาแฝงในการถ่ายโอนไว้มากได้อย่างไร
    • โดยข้ามผ่านย้อนกลับ
    • โดยการดึงข้อมูลล่วงหน้าซ้อนทับกับการคำนวณ GPU ที่กำลังดำเนินอยู่
    • โดยการฝึกเพียงครั้งละหนึ่งพารามิเตอร์เท่านั้น
    • โดยปิดการใช้งานความแม่นยำแบบผสม
  6. ใน ZeRO-Offload ขั้นตอนของเครื่องมือเพิ่มประสิทธิภาพ Adam มักจะดำเนินการที่ไหน
    • ทั้งหมดบนคอนโทรลเลอร์ NVMe
    • บนจอแสดงผล GPU แยกต่างหาก
    • บน CPU โดยใช้น้ำหนักหลักและโมเมนต์ที่เก็บไว้ที่นั่น
    • ภายในสวิตช์เครือข่าย
  7. Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
    • The job can still run out of GPU memory
    • Offloading guarantees the job fits any GPU
    • The optimizer moments automatically become model activations
    • The model no longer needs forward tensors
  8. A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
    • Only the inference accuracy
    • The UI font used for training logs
    • Only the number of dataset classes
    • Host optimizer-update time and host-device transfer time