คู่มือทางเทคนิค

แกนเทนเซอร์

Tensor Cores เป็นหน่วยฮาร์ดแวร์เฉพาะภายใน NVIDIA GPU สมัยใหม่ที่ดำเนินการเมทริกซ์คูณและสะสมอย่างรวดเร็วมาก

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของเทนเซอร์คอร์
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

They are the main reason a single GPU can train and run large neural networks orders of magnitude faster than general-purpose compute would allow.

เจาะลึก

Tensor Core ซึ่งเปิดตัวพร้อมกับสถาปัตยกรรม Volta ในปี 2017 เป็นวงจรเฉพาะที่คำนวณการคูณเมทริกซ์ขนาดเล็กบวกกับการบวก (D = A x B + C) ในการดำเนินการครั้งเดียว แทนที่จะทำการคูณครั้งละหนึ่งคอร์บนคอร์ CUDA มาตรฐาน เนื่องจากแทบทุกเลเยอร์ของโครงข่ายประสาทเทียมลดการคูณเมทริกซ์ จึงตรงกับคณิตศาสตร์ที่ AI ต้องการจริงๆ GPU แต่ละรุ่นขยายสิ่งที่พวกเขาจัดการ: Volta ทำไทล์ 4x4 FP16 ในขณะที่สถาปัตยกรรม Ampere, Hopper และ Blackwell ในเวลาต่อมาได้เพิ่มรูปแบบที่มีความแม่นยำต่ำกว่า เช่น TF32, BF16, INT8, FP8 และ FP4 ความแม่นยำที่ลดลงหมายถึงจำนวนที่ประมวลผลต่อนาฬิกามากขึ้น ซึ่งช่วยเพิ่มปริมาณงานสำหรับการฝึกอบรมและการอนุมานได้อย่างมาก ขณะเดียวกันก็รักษาความแม่นยำที่ยอมรับได้

การใช้งานจริงในโลกแห่งความเป็นจริง

ฝึกอบรมโมเดลภาษาขนาดใหญ่ เช่น หม้อแปลงแบบ GPT ซึ่งการคูณเมทริกซ์นับพันล้านครั้งต่อขั้นตอนทำงานบน Tensor Cores ใน BF16 หรือ FP8

เรียกใช้การอนุมานแบบเรียลไทม์สำหรับแชทบอทและเครื่องสร้างรูปภาพ โดยใช้การวัดปริมาณ INT8 หรือ FP8 เพื่อให้บริการผู้ใช้ต่อ GPU มากขึ้น

การเร่งความเร็ว NVIDIA DLSS ในวิดีโอเกม โดยโครงข่ายประสาทเทียมจะอัปสเกลเฟรมที่มีความละเอียดต่ำลงโดยใช้ Tensor Cores แต่ละเฟรม

เร่งการประมวลผลทางวิทยาศาสตร์ เช่น การพับโปรตีน (AlphaFold) และแบบจำลองสภาพอากาศที่ได้รับการจัดรูปแบบใหม่ให้เป็นปริมาณงานของระบบประสาทที่เน้นเมทริกซ์

อนาคตของเทนเซอร์คอร์

Tensor Cores มุ่งสู่ความแม่นยำที่ลดลงอย่างต่อเนื่อง: Hopper เพิ่ม FP8 และ Blackwell เปิดตัว FP4 4 บิตพร้อมการปรับขนาดที่จัดการด้วยฮาร์ดแวร์ โดยเพิ่มปริมาณงานเป็นสองเท่าโดยประมาณในแต่ละขั้นตอนสำหรับปริมาณงานที่ต้องใช้การอนุมานจำนวนมาก คาดหวังการสนับสนุนที่เข้มงวดยิ่งขึ้นสำหรับความกระจัดกระจาย (ข้ามน้ำหนักเป็นศูนย์) รูปแบบไมโครสเกลที่แนบปัจจัยขนาดเข้ากับบล็อกตัวเลขขนาดเล็ก และการบูรณาการที่ลึกยิ่งขึ้นกับระบบหน่วยความจำเพื่อให้คอร์ยังคงได้รับอาหาร เมื่อโมเดลเติบโตขึ้น เมทริกซ์เอ็นจิ้น (ไม่ใช่ความเร็วสัญญาณนาฬิกาดิบ) ยังคงเป็นสมรภูมิสำคัญสำหรับประสิทธิภาพของฮาร์ดแวร์ AI

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Tensor Cores quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is Tensor Cores?

Tensor Cores เป็นหน่วยฮาร์ดแวร์เฉพาะภายใน NVIDIA GPU สมัยใหม่ที่ดำเนินการเมทริกซ์คูณและสะสมอย่างรวดเร็วมาก นี่เป็นเหตุผลหลักที่ทำให้ GPU ตัวเดียวสามารถฝึกและรันโครงข่ายประสาทเทียมขนาดใหญ่ได้เร็วกว่าการคำนวณทั่วไป

การดำเนินการทางคณิตศาสตร์หลักใดคือ Tensor Cores ที่ออกแบบมาเพื่อเร่งความเร็วโดยเฉพาะ

Tensor Cores ทำการคูณเมทริกซ์แบบหลอมรวมและการสะสมในขั้นตอนเดียว ซึ่งเป็นการดำเนินการที่ครอบงำเลเยอร์เครือข่ายประสาทอย่างแน่นอน

สถาปัตยกรรม NVIDIA GPU ใดที่เปิดตัว Tensor Cores เป็นครั้งแรก

Tensor Cores เปิดตัวครั้งแรกพร้อมกับสถาปัตยกรรม Volta ในปี 2017 โดยเริ่มต้นด้วยการดำเนินการเมทริกซ์ FP16 4x4

เหตุใด Tensor Core จึงมักใช้ความแม่นยำลดลง เช่น FP16 หรือ FP8

การใช้บิตต่อตัวเลขน้อยลงหมายถึงค่าจะไหลผ่านฮาร์ดแวร์มากขึ้นในแต่ละรอบ ซึ่งเพิ่มความเร็วได้อย่างมากโดยสูญเสียความแม่นยำเพียงเล็กน้อยเท่านั้น ซึ่งปกติจะยอมรับได้

เพื่อรักษาความแม่นยำ โดยทั่วไป Tensor Cores จะใช้ความแม่นยำเท่าใดสำหรับผลรวมรัน (การสะสม)

อินพุตอาจมีความแม่นยำต่ำ แต่ตัวสะสมมักจะทำงานด้วยความแม่นยำสูงกว่าเช่น FP32 เพื่อจำกัดการสะสมของข้อผิดพลาดในการปัดเศษ

เฟรมเวิร์ก AI ในชีวิตประจำวันอย่าง PyTorch ใช้ประโยชน์จาก Tensor Cores ได้อย่างไร

ไลบรารีพื้นฐานแบ่งการดำเนินการเมทริกซ์ขนาดใหญ่ออกเป็นไทล์ขนาด Tensor-Core โดยอัตโนมัติ ดังนั้นเฟรมเวิร์กจึงเร่งความเร็วได้โดยไม่ต้องเขียนโค้ดด้วยตนเอง

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →