ต่อไปคำแนะนำต่อไป
การประมาณหน่วยความจำ GPU ที่จำเป็นสำหรับ LLM
เทคนิค
คู่มือทางเทคนิค
หน่วยความจำแบนด์วิธสูง (HBM) คือหน่วยความจำแบบสแต็กที่วางอยู่ข้างๆ GPU ซึ่งส่งข้อมูลได้เร็วกว่า RAM ทั่วไปมาก
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
มันคือสิ่งที่ทําให้ AI accelerator มีพลังงานเพียงพอ ป้องกันไม่ให้แกนประมวลผลที่ทรงพลังต้องรอน้ําหนักและข้อมูลของโมเดล
HBM แก้ปัญหาคอขวดขั้นพื้นฐาน: ชิป AI สมัยใหม่สามารถดำเนินการได้นับล้านล้านรายการต่อวินาที แต่เฉพาะในกรณีที่ข้อมูลมาถึงเร็วเพียงพอเท่านั้น หน่วยความจำ GDDR มาตรฐานเชื่อมต่อผ่านบัสที่ค่อนข้างแคบ ในขณะที่ HBM จะซ้อน DRAM หลายตัวในแนวตั้ง และเชื่อมต่อกับสายไฟแนวตั้งเล็กๆ หลายพันเส้นที่เรียกว่า Through-silicon Vias (TSV) สแต็คเหล่านี้ตั้งอยู่บนซิลิคอนอินเตอร์โพเซอร์มิลลิเมตรจาก GPU ซึ่งให้เส้นทางข้อมูลที่กว้างมาก คิดหลายพันบิตในคราวเดียวแทนที่จะเป็นหลายร้อย ผลลัพธ์คือแบนด์วิธวัดเป็นเทราไบต์ต่อวินาที เจเนอเรชั่นต่างๆ ได้พัฒนาจาก HBM2 เป็น HBM2e, HBM3 และ HBM3e ซึ่งแต่ละรุ่นเพิ่มทั้งความจุและความเร็ว สำหรับโมเดลภาษาขนาดใหญ่ที่ต้องสตรีมน้ำหนักอย่างต่อเนื่อง ความจุและแบนด์วิดท์ของ HBM มักมีความสำคัญมากกว่าการประมวลผลแบบดิบ
ถือน้ำหนักหลายสิบหรือหลายร้อยกิกะไบต์สำหรับโมเดลภาษาขนาดใหญ่ใกล้กับ GPU เพื่อให้สามารถสตรีมได้ในทุกขั้นตอนการอนุมาน
เปิดใช้งาน GPU ศูนย์ข้อมูล NVIDIA H100 และ H200 เพื่อเข้าถึงแบนด์วิดท์หน่วยความจำหลายเทราไบต์ต่อวินาทีสำหรับการฝึกอบรม
ขับเคลื่อนคลัสเตอร์การฝึกฝน AI โดยที่ GPU จำนวนมากแต่ละตัวอาศัย HBM เพื่อหลีกเลี่ยงการหยุดชะงักระหว่างการดำเนินการแบบเมทริกซ์
รองรับโมเดลรูปภาพและวิดีโอที่มีความละเอียดสูงซึ่งจะต้องย้ายเทนเซอร์การเปิดใช้งานขนาดใหญ่เข้าและออกจากหน่วยความจำอย่างรวดเร็ว
แบนด์วิธหน่วยความจำกลายเป็นข้อจำกัดชั้นนำของ AI ดังนั้น HBM จึงก้าวหน้าอย่างรวดเร็ว HBM3e จำหน่ายในรุ่นเรือธง โดยที่ HBM4 คาดว่าจะมีอินเทอร์เฟซที่กว้างขึ้น สแต็กที่สูงขึ้น และความจุต่อแพ็คเกจที่มากขึ้น คาดว่าจะมีการออกแบบร่วมกันที่ใกล้ชิดยิ่งขึ้นระหว่างหน่วยความจำและตรรกะ ซึ่งอาจเป็นไปได้ที่ฐานดายแบบกำหนดเองและการประมวลผลที่ใกล้หน่วยความจำ รวมถึงการแข่งขันที่รุนแรงระหว่างซัพพลายเออร์เช่น SK hynix, Samsung และ Micron เมื่อโมเดลเติบโตขึ้น การได้รับข้อมูลที่ใกล้เคียงกับการประมวลผลมากขึ้น เร็วขึ้น และใช้พลังงานน้อยลง ยังคงเป็นศูนย์กลางของความก้าวหน้าของฮาร์ดแวร์ AI
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
หน่วยความจำแบนด์วิธสูง (HBM) คือหน่วยความจำแบบสแต็กที่วางอยู่ข้างๆ GPU ซึ่งส่งข้อมูลได้เร็วกว่า RAM ทั่วไปมาก นี่คือสิ่งที่คอยป้อนอาหารให้กับตัวเร่งความเร็ว AI เพื่อป้องกันไม่ให้แกนประมวลผลอันทรงพลังไม่ได้ใช้งานในขณะที่รอน้ำหนักและข้อมูลของโมเดล
ชิป AI สามารถทำงานได้หลายล้านล้านรายการต่อวินาทีก็ต่อเมื่อข้อมูลมาถึงเร็วเพียงพอเท่านั้น HBM จัดหาแบนด์วิธนั้นเพื่อให้คอร์ไม่อดอาหาร
HBM ซ้อน DRAM ซ้อนกันและเชื่อมโยงเข้ากับสายแนวตั้ง (TSV) หลายพันเส้น ทำให้เกิดเส้นทางข้อมูลที่กว้างมาก
แทนที่จะตอกบัตรเร็วขึ้น HBM เปิดเผยอินเทอร์เฟซที่กว้างมาก (1,024 บิตต่อสแต็กขึ้นไป) จึงมีไบต์จำนวนมากที่ย้ายในคราวเดียว
สายไฟสั้นบนอินเทอร์โพเซอร์ที่ใช้ร่วมกันจะช่วยลดพลังงานที่ต้องการต่อบิตที่ถ่ายโอน และลดความหน่วงระหว่างหน่วยความจำและการประมวลผล
การอนุมาน LLM จะสตรีมเมทริกซ์น้ำหนักมากอย่างต่อเนื่อง ดังนั้นความจุของหน่วยความจำและแบนด์วิดท์จึงมักกลายเป็นปัจจัยจำกัดมากกว่าปริมาณการประมวลผล
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การประมาณหน่วยความจำ GPU ที่จำเป็นสำหรับ LLM
เทคนิค