ต่อไปคำแนะนำต่อไป
อดัมและเครื่องมือเพิ่มประสิทธิภาพแบบอะแดปทีฟ
เทคนิค
คู่มือทางเทคนิค
เคล็ดลับการประหยัดหน่วยความจำที่หยุดการบันทึกการฝึกจำนวนมาก (สถานะเครื่องมือเพิ่มประสิทธิภาพ การไล่ระดับสี บางครั้งน้ำหนัก) ใน CPU RAM หรือบน NVMe SSD แทนที่จะเป็นหน่วยความจำ GPU ที่หายาก
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
It lets people train far larger models than their GPU's memory would otherwise allow.
เมื่อคุณฝึกโครงข่ายประสาทเทียมด้วยเครื่องมือเพิ่มประสิทธิภาพอย่าง Adam ทุกพารามิเตอร์จะแบกภาระเพิ่มเติม: สถิติการวิ่งสองรายการ (โมเมนตัมและความแปรปรวน) พร้อมสำเนาน้ำหนักที่มีความแม่นยำครบถ้วน บวกกับการไล่ระดับสี ในการฝึกอบรมแบบผสมความแม่นยำ สามารถรวมได้ประมาณ 16 ไบต์ต่อพารามิเตอร์ ซึ่งเล็กลง 2 ไบต์สำหรับน้ำหนักนั้นเอง การขนถ่ายจะย้ายสัมภาระนั้นออกจาก GPU CPU ออฟโหลดสตรีมสถานะเครื่องมือเพิ่มประสิทธิภาพลงใน RAM ของระบบธรรมดาผ่านบัส PCIe ในขณะที่ออฟโหลด NVMe จะผลักสถานะเหล่านั้นลงไปจนถึงดิสก์โซลิดสเตตที่รวดเร็ว เทคนิคนี้ได้รับความนิยมจาก ZeRO-Infinity และ ZeRO-Offload ของ DeepSpeed โดยแลกความเร็วดิบกับความจุ โดยปล่อยให้ GPU ตัวเดียวหรือคลัสเตอร์ขนาดเล็กปรับแต่งโมเดลด้วยพารามิเตอร์นับพันล้านรายการ
DeepSpeed’s ZeRO-Offload tutorial trains a ten-billion-parameter GPT-2 configuration on a 32 GB V100, with CPU optimizer offloading and activation checkpointing.
A research team evaluates ZeRO-Infinity with CPU and NVMe tiers for a model that exceeds GPU-only capacity.
A fine-tuning team configures CPU optimizer offloading and measures host memory use and update time.
A team compares larger GPUs with offloading, accounting for CPU, storage, and transfer costs.
เนื่องจากโมเดลต่างๆ มีหน่วยความจำ GPU เพิ่มมากขึ้น การถ่ายแบบแบ่งระดับจึงกลายเป็นมาตรฐานมากกว่าแปลกใหม่ คาดหวังการผสานรวมที่แน่นแฟ้นยิ่งขึ้นด้วยการเชื่อมต่อระหว่างกันที่เร็วขึ้น เช่น พูลหน่วยความจำ NVLink-C2C และ CXL ที่ทำให้ขอบเขต CPU-GPU พร่ามัว พร้อมตัวกำหนดเวลาที่ชาญฉลาดยิ่งขึ้นที่คาดการณ์ว่าสถานะใดที่จะดึงข้อมูลล่วงหน้า สถาปัตยกรรมหน่วยความจำแบบรวม เช่น Grace Hopper ช่วยลดโทษของ PCIe และเฟรมเวิร์กกำลังผลักดันให้ออฟโหลดหลายชั้นเกือบโปร่งใส เพื่อให้มือสมัครเล่นสามารถปรับแต่งโมเดลขนาดใหญ่บนฮาร์ดแวร์ขนาดเล็กได้
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
เคล็ดลับการประหยัดหน่วยความจำที่หยุดการบันทึกการฝึกจำนวนมาก (สถานะเครื่องมือเพิ่มประสิทธิภาพ การไล่ระดับสี บางครั้งน้ำหนัก) ใน CPU RAM หรือบน NVMe SSD แทนที่จะเป็นหน่วยความจำ GPU ที่หายาก ช่วยให้ผู้คนสามารถฝึกโมเดลที่มีขนาดใหญ่กว่าที่หน่วยความจำของ GPU จะทำได้
การออฟโหลดจะย้ายสถานะเครื่องมือเพิ่มประสิทธิภาพจำนวนมากออกจาก GPU ไปยัง CPU RAM หรือ NVMe ทำให้หน่วยความจำ GPU ว่าง เพื่อให้สามารถฝึกฝนโมเดลขนาดใหญ่บนฮาร์ดแวร์เดียวกันได้
Each FP32 value uses four bytes: two moments plus one master weight total twelve. A sixteen-byte mixed-precision estimate includes other tensors as well.
ZeRO-Offload และ ZeRO-Infinity ของ DeepSpeed เปิดตัวและเผยแพร่สถานะตัวเพิ่มประสิทธิภาพการถ่ายข้อมูลไปยัง CPU และ NVMe ในระดับต่างๆ
การย้ายสถานะนอก GPU หมายถึงการถ่ายโอนข้อมูลผ่าน PCIe หรือไปยัง NVMe ซึ่งช้ากว่าหน่วยความจำบน GPU ดังนั้นปริมาณงานจะลดลง เว้นแต่จะซ้อนทับกับการประมวลผล
ตัวกำหนดเวลาดึงพาร์ติชันที่จำเป็นล่วงหน้าผ่าน PCIe ในขณะที่ GPU ยังคงประมวลผลอยู่ ซึ่งเป็นการสื่อสารที่ทับซ้อนกันกับการคำนวณเพื่อปกปิดเวลาแฝง
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
อดัมและเครื่องมือเพิ่มประสิทธิภาพแบบอะแดปทีฟ
เทคนิค