ต่อไปคำแนะนำต่อไป
การประมาณหน่วยความจำ GPU ที่จำเป็นสำหรับ LLM
เทคนิค
คู่มือทางเทคนิค
วิธีที่เฟรมเวิร์ก AI จัดสรร นำมาใช้ซ้ำ และเรียกคืนหน่วยความจำที่จำกัดบน GPU และเหตุใดช่องว่างที่เหลือ (การแยกส่วน) จึงอาจทำให้เกิดข้อผิดพลาดหน่วยความจำไม่เพียงพอได้ แม้ว่าในทางเทคนิคจะมีหน่วยความจำเหลืออยู่มากมายก็ตาม
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
การทำความเข้าใจเป็นกุญแจสำคัญในการปรับโมเดลขนาดใหญ่ให้เหมาะสมและหลีกเลี่ยงอุบัติเหตุที่ลึกลับ
หน่วยความจำ GPU ได้รับการแก้ไขและมีค่า: การ์ดอาจมีพื้นที่ทั้งหมด 24, 80 หรือ 192 GB แบ่งตามน้ำหนักโมเดล การเปิดใช้งาน การไล่ระดับสี สถานะเครื่องมือเพิ่มประสิทธิภาพ และบัฟเฟอร์ชั่วคราว การเรียกไดรเวอร์ให้จัดสรรหน่วยความจำในทุกการดำเนินการจะช้า ดังนั้นเฟรมเวิร์กอย่าง PyTorch จึงใช้ตัวจัดสรรแคชที่ดึงบล็อกขนาดใหญ่ไว้ด้านหน้าและแจกชิ้นส่วนย่อย จากนั้นเก็บชิ้นส่วนที่ว่างไว้ในพูลเพื่อนำกลับมาใช้ใหม่ สิ่งที่จับได้คือการกระจายตัว: เมื่อเทนเซอร์ที่มีขนาดต่างกันได้รับการจัดสรรและปลดปล่อย พื้นที่ว่างจะแตกออกเป็นชิ้นๆ กระจัดกระจาย คุณสามารถมีพื้นที่ว่างทั้งหมด 5 GB แต่ไม่สามารถจัดสรรเทนเซอร์ขนาด 2 GB ที่ต่อเนื่องกันได้ เนื่องจากไม่มีช่องว่างใดที่ใหญ่พอ นี่คือเหตุผลว่าทำไมการฝึกจึงอาจล้มเหลวเนื่องจากข้อผิดพลาดหน่วยความจำไม่เพียงพอ แม้ว่าดูเหมือนว่าจะยังมีพื้นที่ว่างเหลืออยู่ก็ตาม
A training team examines allocator statistics before testing expandable segments on a variable-batch workload.
A developer uses memory_summary and a memory snapshot to investigate active tensors and inactive split blocks.
An inference team uses vLLM’s paged KV-cache management to reduce cache-allocation waste.
A training team lowers batch size or checkpoints activations after confirming live tensor memory is the limiting factor.
การจัดการหน่วยความจำมีความชาญฉลาดมากขึ้นและมีเพจมากขึ้น โดยได้รับแรงบันดาลใจจากระบบปฏิบัติการ เทคนิคต่างๆ เช่น ตัวจัดสรรสไตล์หน่วยความจำเสมือนและเพจความสนใจ (ใช้เพื่อจัดการแคช KV ในระหว่างการอนุมาน) ช่วยลดความสูญเปล่าและการกระจายตัวได้อย่างมาก คาดว่าเฟรมเวิร์กจะเป็นค่าเริ่มต้นสำหรับตัวจัดสรรที่ขยายได้ การจัดเรียงข้อมูล การมองเห็นที่ดีขึ้นผ่านตัวสร้างโปรไฟล์ในตัว และการเชื่อมโยงที่เข้มงวดยิ่งขึ้นกับการลดการโหลดและการคำนวณใหม่ ดังนั้นระบบจะสลับ GPU, CPU และหน่วยความจำดิสก์โดยอัตโนมัติ เพื่อให้การใช้งานอยู่ในระดับสูงและเกิดข้อขัดข้องซึ่งเกิดขึ้นได้ยาก
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
วิธีที่เฟรมเวิร์ก AI จัดสรร นำมาใช้ซ้ำ และเรียกคืนหน่วยความจำที่จำกัดบน GPU และเหตุใดช่องว่างที่เหลือ (การแยกส่วน) จึงอาจทำให้เกิดข้อผิดพลาดหน่วยความจำไม่เพียงพอได้ แม้ว่าในทางเทคนิคจะมีหน่วยความจำเหลืออยู่มากมายก็ตาม การทำความเข้าใจเป็นกุญแจสำคัญในการปรับโมเดลขนาดใหญ่ให้เหมาะสมและหลีกเลี่ยงอุบัติเหตุที่ลึกลับ
การแยกส่วนหมายความว่าหน่วยความจำว่างทั้งหมดเพียงพอ แต่จะถูกแบ่งออกเป็นชิ้น ๆ ดังนั้นจึงไม่มีช่องว่างใดที่ใหญ่พอสำหรับเทนเซอร์ขนาดใหญ่
การเรียก cudaMalloc/cudaFree สำหรับทุก ๆ op นั้นช้า ดังนั้นตัวจัดสรรแคชจึงจับบล็อกขนาดใหญ่และนำบล็อกที่ปล่อยให้ว่างจากพูลกลับมาใช้ใหม่
Allocator statistics and snapshots help distinguish fragmentation from live tensors or other allocations. The error alone does not prove a single cause.
Expandable segments can reduce waste for selected allocation patterns. Availability and benefit depend on allocator configuration and workload.
PagedAttention เก็บแคช KV ไว้ในเพจขนาดคงที่ เช่น หน่วยความจำเสมือน OS ช่วยลดการกระจายตัวและให้บริการคำขอจำนวนมากได้อย่างมีประสิทธิภาพ
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การประมาณหน่วยความจำ GPU ที่จำเป็นสำหรับ LLM
เทคนิค