แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
สถานะของเครื่องมือเพิ่มประสิทธิภาพการถ่ายข้อมูลไปยัง CPU และ NVMe Quiz
ใช้ตัวเพิ่มประสิทธิภาพการถ่ายบัญชีหน่วยความจำ ตำแหน่งการอัปเดตโฮสต์ และการแลกเปลี่ยนการแลกเปลี่ยน รวมถึงสาเหตุที่การถ่ายข้อมูลไม่ลบการจัดสรร GPU ทั้งหมด
คำถาม 1 ของ 8
เป้าหมายหลักของการลดการโหลดสถานะเครื่องมือเพิ่มประสิทธิภาพไปยัง CPU หรือ NVMe คืออะไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- เป้าหมายหลักของการลดการโหลดสถานะเครื่องมือเพิ่มประสิทธิภาพไปยัง CPU หรือ NVMe คืออะไร
- เพื่อให้โมเดลมีความแม่นยำมากขึ้น
- เพื่อลดจำนวนยุคการฝึกอบรมที่จำเป็น
- เพื่อขจัดความจำเป็นในการไล่ระดับสีโดยสิ้นเชิง
- เพื่อให้พอดีกับโมเดลขนาดใหญ่โดยการเพิ่มหน่วยความจำ GPU ที่ขาดแคลน
- For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
- Two bytes for all three values
- Twelve bytes, excluding model weights and gradients
- Sixteen bytes for the three values alone
- Zero bytes because they are implicit
- เฟรมเวิร์กใดมีฟีเจอร์การออฟโหลดเครื่องมือเพิ่มประสิทธิภาพขนาดใหญ่ที่ได้รับความนิยม
- ฟังก์ชั่นการเปิดใช้งานใหม่
- การบีบอัดภาพ JPEG
- DeepSpeed ZeRO-ออฟโหลด และ ZeRO-Infinity
- การตัดแบบไล่ระดับสี
- ต้นทุนประสิทธิภาพหลักในการลดการโหลดไปยัง CPU หรือ NVMe คืออะไร
- ข้อมูลจะต้องเดินทางผ่านลิงก์ที่ช้ากว่า เช่น PCIe หรือไปยังดิสก์ ซึ่งเพิ่มความหน่วง
- โมเดลลืมการฝึกก่อนหน้านี้
- เครื่องมือเพิ่มประสิทธิภาพจะไม่ถูกต้องทางคณิตศาสตร์
- อุณหภูมิ GPU ลดลงต่ำเกินไป
- ระบบออฟโหลดจะซ่อนเวลาแฝงในการถ่ายโอนไว้มากได้อย่างไร
- โดยข้ามผ่านย้อนกลับ
- โดยการดึงข้อมูลล่วงหน้าซ้อนทับกับการคำนวณ GPU ที่กำลังดำเนินอยู่
- โดยการฝึกเพียงครั้งละหนึ่งพารามิเตอร์เท่านั้น
- โดยปิดการใช้งานความแม่นยำแบบผสม
- ใน ZeRO-Offload ขั้นตอนของเครื่องมือเพิ่มประสิทธิภาพ Adam มักจะดำเนินการที่ไหน
- ทั้งหมดบนคอนโทรลเลอร์ NVMe
- บนจอแสดงผล GPU แยกต่างหาก
- บน CPU โดยใช้น้ำหนักหลักและโมเมนต์ที่เก็บไว้ที่นั่น
- ภายในสวิตช์เครือข่าย
- Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
- The job can still run out of GPU memory
- Offloading guarantees the job fits any GPU
- The optimizer moments automatically become model activations
- The model no longer needs forward tensors
- A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
- Only the inference accuracy
- The UI font used for training logs
- Only the number of dataset classes
- Host optimizer-update time and host-device transfer time