คู่มือทางเทคนิค

สถานะเครื่องมือเพิ่มประสิทธิภาพออฟโหลดไปยัง CPU และ NVMe

เคล็ดลับการประหยัดหน่วยความจำที่หยุดการบันทึกการฝึกจำนวนมาก (สถานะเครื่องมือเพิ่มประสิทธิภาพ การไล่ระดับสี บางครั้งน้ำหนัก) ใน CPU RAM หรือบน NVMe SSD แทนที่จะเป็นหน่วยความจำ GPU ที่หายาก

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของสถานะ Optimizer ที่ถ่ายโอนไปยัง CPU และ NVMe
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

It lets people train far larger models than their GPU's memory would otherwise allow.

เจาะลึก

เมื่อคุณฝึกโครงข่ายประสาทเทียมด้วยเครื่องมือเพิ่มประสิทธิภาพอย่าง Adam ทุกพารามิเตอร์จะแบกภาระเพิ่มเติม: สถิติการวิ่งสองรายการ (โมเมนตัมและความแปรปรวน) พร้อมสำเนาน้ำหนักที่มีความแม่นยำครบถ้วน บวกกับการไล่ระดับสี ในการฝึกอบรมแบบผสมความแม่นยำ สามารถรวมได้ประมาณ 16 ไบต์ต่อพารามิเตอร์ ซึ่งเล็กลง 2 ไบต์สำหรับน้ำหนักนั้นเอง การขนถ่ายจะย้ายสัมภาระนั้นออกจาก GPU CPU ออฟโหลดสตรีมสถานะเครื่องมือเพิ่มประสิทธิภาพลงใน RAM ของระบบธรรมดาผ่านบัส PCIe ในขณะที่ออฟโหลด NVMe จะผลักสถานะเหล่านั้นลงไปจนถึงดิสก์โซลิดสเตตที่รวดเร็ว เทคนิคนี้ได้รับความนิยมจาก ZeRO-Infinity และ ZeRO-Offload ของ DeepSpeed ​​โดยแลกความเร็วดิบกับความจุ โดยปล่อยให้ GPU ตัวเดียวหรือคลัสเตอร์ขนาดเล็กปรับแต่งโมเดลด้วยพารามิเตอร์นับพันล้านรายการ

การใช้งานจริงในโลกแห่งความเป็นจริง

DeepSpeed’s ZeRO-Offload tutorial trains a ten-billion-parameter GPT-2 configuration on a 32 GB V100, with CPU optimizer offloading and activation checkpointing.

A research team evaluates ZeRO-Infinity with CPU and NVMe tiers for a model that exceeds GPU-only capacity.

A fine-tuning team configures CPU optimizer offloading and measures host memory use and update time.

A team compares larger GPUs with offloading, accounting for CPU, storage, and transfer costs.

อนาคตของสถานะ Optimizer ที่ถ่ายโอนไปยัง CPU และ NVMe

เนื่องจากโมเดลต่างๆ มีหน่วยความจำ GPU เพิ่มมากขึ้น การถ่ายแบบแบ่งระดับจึงกลายเป็นมาตรฐานมากกว่าแปลกใหม่ คาดหวังการผสานรวมที่แน่นแฟ้นยิ่งขึ้นด้วยการเชื่อมต่อระหว่างกันที่เร็วขึ้น เช่น พูลหน่วยความจำ NVLink-C2C และ CXL ที่ทำให้ขอบเขต CPU-GPU พร่ามัว พร้อมตัวกำหนดเวลาที่ชาญฉลาดยิ่งขึ้นที่คาดการณ์ว่าสถานะใดที่จะดึงข้อมูลล่วงหน้า สถาปัตยกรรมหน่วยความจำแบบรวม เช่น Grace Hopper ช่วยลดโทษของ PCIe และเฟรมเวิร์กกำลังผลักดันให้ออฟโหลดหลายชั้นเกือบโปร่งใส เพื่อให้มือสมัครเล่นสามารถปรับแต่งโมเดลขนาดใหญ่บนฮาร์ดแวร์ขนาดเล็กได้

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Optimizer State Offloading to CPU and NVMe quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is Optimizer State Offloading to CPU and NVMe?

เคล็ดลับการประหยัดหน่วยความจำที่หยุดการบันทึกการฝึกจำนวนมาก (สถานะเครื่องมือเพิ่มประสิทธิภาพ การไล่ระดับสี บางครั้งน้ำหนัก) ใน CPU RAM หรือบน NVMe SSD แทนที่จะเป็นหน่วยความจำ GPU ที่หายาก ช่วยให้ผู้คนสามารถฝึกโมเดลที่มีขนาดใหญ่กว่าที่หน่วยความจำของ GPU จะทำได้

เป้าหมายหลักของการลดการโหลดสถานะเครื่องมือเพิ่มประสิทธิภาพไปยัง CPU หรือ NVMe คืออะไร

การออฟโหลดจะย้ายสถานะเครื่องมือเพิ่มประสิทธิภาพจำนวนมากออกจาก GPU ไปยัง CPU RAM หรือ NVMe ทำให้หน่วยความจำ GPU ว่าง เพื่อให้สามารถฝึกฝนโมเดลขนาดใหญ่บนฮาร์ดแวร์เดียวกันได้

For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?

Each FP32 value uses four bytes: two moments plus one master weight total twelve. A sixteen-byte mixed-precision estimate includes other tensors as well.

เฟรมเวิร์กใดมีฟีเจอร์การออฟโหลดเครื่องมือเพิ่มประสิทธิภาพขนาดใหญ่ที่ได้รับความนิยม

ZeRO-Offload และ ZeRO-Infinity ของ DeepSpeed ​​เปิดตัวและเผยแพร่สถานะตัวเพิ่มประสิทธิภาพการถ่ายข้อมูลไปยัง CPU และ NVMe ในระดับต่างๆ

ต้นทุนประสิทธิภาพหลักในการลดการโหลดไปยัง CPU หรือ NVMe คืออะไร

การย้ายสถานะนอก GPU หมายถึงการถ่ายโอนข้อมูลผ่าน PCIe หรือไปยัง NVMe ซึ่งช้ากว่าหน่วยความจำบน GPU ดังนั้นปริมาณงานจะลดลง เว้นแต่จะซ้อนทับกับการประมวลผล

ระบบออฟโหลดจะซ่อนเวลาแฝงในการถ่ายโอนไว้มากได้อย่างไร

ตัวกำหนดเวลาดึงพาร์ติชันที่จำเป็นล่วงหน้าผ่าน PCIe ในขณะที่ GPU ยังคงประมวลผลอยู่ ซึ่งเป็นการสื่อสารที่ทับซ้อนกันกับการคำนวณเพื่อปกปิดเวลาแฝง

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

ต่อไปคำแนะนำต่อไป

อดัมและเครื่องมือเพิ่มประสิทธิภาพแบบอะแดปทีฟ

เทคนิค

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →