คู่มือทางเทคนิค

การจัดการหน่วยความจำ GPU และการกระจายตัว

วิธีที่เฟรมเวิร์ก AI จัดสรร นำมาใช้ซ้ำ และเรียกคืนหน่วยความจำที่จำกัดบน GPU และเหตุใดช่องว่างที่เหลือ (การแยกส่วน) จึงอาจทำให้เกิดข้อผิดพลาดหน่วยความจำไม่เพียงพอได้ แม้ว่าในทางเทคนิคจะมีหน่วยความจำเหลืออยู่มากมายก็ตาม

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการจัดการหน่วยความจำ GPU และการแยกส่วน
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

การทำความเข้าใจเป็นกุญแจสำคัญในการปรับโมเดลขนาดใหญ่ให้เหมาะสมและหลีกเลี่ยงอุบัติเหตุที่ลึกลับ

เจาะลึก

หน่วยความจำ GPU ได้รับการแก้ไขและมีค่า: การ์ดอาจมีพื้นที่ทั้งหมด 24, 80 หรือ 192 GB แบ่งตามน้ำหนักโมเดล การเปิดใช้งาน การไล่ระดับสี สถานะเครื่องมือเพิ่มประสิทธิภาพ และบัฟเฟอร์ชั่วคราว การเรียกไดรเวอร์ให้จัดสรรหน่วยความจำในทุกการดำเนินการจะช้า ดังนั้นเฟรมเวิร์กอย่าง PyTorch จึงใช้ตัวจัดสรรแคชที่ดึงบล็อกขนาดใหญ่ไว้ด้านหน้าและแจกชิ้นส่วนย่อย จากนั้นเก็บชิ้นส่วนที่ว่างไว้ในพูลเพื่อนำกลับมาใช้ใหม่ สิ่งที่จับได้คือการกระจายตัว: เมื่อเทนเซอร์ที่มีขนาดต่างกันได้รับการจัดสรรและปลดปล่อย พื้นที่ว่างจะแตกออกเป็นชิ้นๆ กระจัดกระจาย คุณสามารถมีพื้นที่ว่างทั้งหมด 5 GB แต่ไม่สามารถจัดสรรเทนเซอร์ขนาด 2 GB ที่ต่อเนื่องกันได้ เนื่องจากไม่มีช่องว่างใดที่ใหญ่พอ นี่คือเหตุผลว่าทำไมการฝึกจึงอาจล้มเหลวเนื่องจากข้อผิดพลาดหน่วยความจำไม่เพียงพอ แม้ว่าดูเหมือนว่าจะยังมีพื้นที่ว่างเหลืออยู่ก็ตาม

การใช้งานจริงในโลกแห่งความเป็นจริง

A training team examines allocator statistics before testing expandable segments on a variable-batch workload.

A developer uses memory_summary and a memory snapshot to investigate active tensors and inactive split blocks.

An inference team uses vLLM’s paged KV-cache management to reduce cache-allocation waste.

A training team lowers batch size or checkpoints activations after confirming live tensor memory is the limiting factor.

อนาคตของการจัดการหน่วยความจำ GPU และการแยกส่วน

การจัดการหน่วยความจำมีความชาญฉลาดมากขึ้นและมีเพจมากขึ้น โดยได้รับแรงบันดาลใจจากระบบปฏิบัติการ เทคนิคต่างๆ เช่น ตัวจัดสรรสไตล์หน่วยความจำเสมือนและเพจความสนใจ (ใช้เพื่อจัดการแคช KV ในระหว่างการอนุมาน) ช่วยลดความสูญเปล่าและการกระจายตัวได้อย่างมาก คาดว่าเฟรมเวิร์กจะเป็นค่าเริ่มต้นสำหรับตัวจัดสรรที่ขยายได้ การจัดเรียงข้อมูล การมองเห็นที่ดีขึ้นผ่านตัวสร้างโปรไฟล์ในตัว และการเชื่อมโยงที่เข้มงวดยิ่งขึ้นกับการลดการโหลดและการคำนวณใหม่ ดังนั้นระบบจะสลับ GPU, CPU และหน่วยความจำดิสก์โดยอัตโนมัติ เพื่อให้การใช้งานอยู่ในระดับสูงและเกิดข้อขัดข้องซึ่งเกิดขึ้นได้ยาก

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the GPU Memory Management and Fragmentation quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

การจัดการหน่วยความจำ GPU และการแยกส่วนคืออะไร

วิธีที่เฟรมเวิร์ก AI จัดสรร นำมาใช้ซ้ำ และเรียกคืนหน่วยความจำที่จำกัดบน GPU และเหตุใดช่องว่างที่เหลือ (การแยกส่วน) จึงอาจทำให้เกิดข้อผิดพลาดหน่วยความจำไม่เพียงพอได้ แม้ว่าในทางเทคนิคจะมีหน่วยความจำเหลืออยู่มากมายก็ตาม การทำความเข้าใจเป็นกุญแจสำคัญในการปรับโมเดลขนาดใหญ่ให้เหมาะสมและหลีกเลี่ยงอุบัติเหตุที่ลึกลับ

การกระจายตัวของหน่วยความจำ GPU คืออะไร?

การแยกส่วนหมายความว่าหน่วยความจำว่างทั้งหมดเพียงพอ แต่จะถูกแบ่งออกเป็นชิ้น ๆ ดังนั้นจึงไม่มีช่องว่างใดที่ใหญ่พอสำหรับเทนเซอร์ขนาดใหญ่

เหตุใดเฟรมเวิร์กอย่าง PyTorch จึงใช้ตัวจัดสรรหน่วยความจำแคช

การเรียก cudaMalloc/cudaFree สำหรับทุก ๆ op นั้นช้า ดังนั้นตัวจัดสรรแคชจึงจับบล็อกขนาดใหญ่และนำบล็อกที่ปล่อยให้ว่างจากพูลกลับมาใช้ใหม่

A CUDA allocation fails despite apparently unused reserved memory. What should a developer investigate?

Allocator statistics and snapshots help distinguish fragmentation from live tensors or other allocations. The error alone does not prove a single cause.

Which PyTorch allocator option can be tested for changing-size workloads that leave unused memory slivers?

Expandable segments can reduce waste for selected allocation patterns. Availability and benefit depend on allocator configuration and workload.

PagedAttention ของ vLLM จัดการอะไรเพื่อลดการสิ้นเปลืองหน่วยความจำระหว่างการอนุมาน

PagedAttention เก็บแคช KV ไว้ในเพจขนาดคงที่ เช่น หน่วยความจำเสมือน OS ช่วยลดการกระจายตัวและให้บริการคำขอจำนวนมากได้อย่างมีประสิทธิภาพ

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →