ต่อไปคำแนะนำต่อไป
Core ML สำหรับการปรับใช้งาน Apple บนอุปกรณ์
เทคนิค
คู่มือทางเทคนิค
Tensor Cores เป็นหน่วยฮาร์ดแวร์เฉพาะภายใน NVIDIA GPU สมัยใหม่ที่ดำเนินการเมทริกซ์คูณและสะสมอย่างรวดเร็วมาก
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
They are the main reason a single GPU can train and run large neural networks orders of magnitude faster than general-purpose compute would allow.
Tensor Core ซึ่งเปิดตัวพร้อมกับสถาปัตยกรรม Volta ในปี 2017 เป็นวงจรเฉพาะที่คำนวณการคูณเมทริกซ์ขนาดเล็กบวกกับการบวก (D = A x B + C) ในการดำเนินการครั้งเดียว แทนที่จะทำการคูณครั้งละหนึ่งคอร์บนคอร์ CUDA มาตรฐาน เนื่องจากแทบทุกเลเยอร์ของโครงข่ายประสาทเทียมลดการคูณเมทริกซ์ จึงตรงกับคณิตศาสตร์ที่ AI ต้องการจริงๆ GPU แต่ละรุ่นขยายสิ่งที่พวกเขาจัดการ: Volta ทำไทล์ 4x4 FP16 ในขณะที่สถาปัตยกรรม Ampere, Hopper และ Blackwell ในเวลาต่อมาได้เพิ่มรูปแบบที่มีความแม่นยำต่ำกว่า เช่น TF32, BF16, INT8, FP8 และ FP4 ความแม่นยำที่ลดลงหมายถึงจำนวนที่ประมวลผลต่อนาฬิกามากขึ้น ซึ่งช่วยเพิ่มปริมาณงานสำหรับการฝึกอบรมและการอนุมานได้อย่างมาก ขณะเดียวกันก็รักษาความแม่นยำที่ยอมรับได้
ฝึกอบรมโมเดลภาษาขนาดใหญ่ เช่น หม้อแปลงแบบ GPT ซึ่งการคูณเมทริกซ์นับพันล้านครั้งต่อขั้นตอนทำงานบน Tensor Cores ใน BF16 หรือ FP8
เรียกใช้การอนุมานแบบเรียลไทม์สำหรับแชทบอทและเครื่องสร้างรูปภาพ โดยใช้การวัดปริมาณ INT8 หรือ FP8 เพื่อให้บริการผู้ใช้ต่อ GPU มากขึ้น
การเร่งความเร็ว NVIDIA DLSS ในวิดีโอเกม โดยโครงข่ายประสาทเทียมจะอัปสเกลเฟรมที่มีความละเอียดต่ำลงโดยใช้ Tensor Cores แต่ละเฟรม
เร่งการประมวลผลทางวิทยาศาสตร์ เช่น การพับโปรตีน (AlphaFold) และแบบจำลองสภาพอากาศที่ได้รับการจัดรูปแบบใหม่ให้เป็นปริมาณงานของระบบประสาทที่เน้นเมทริกซ์
Tensor Cores มุ่งสู่ความแม่นยำที่ลดลงอย่างต่อเนื่อง: Hopper เพิ่ม FP8 และ Blackwell เปิดตัว FP4 4 บิตพร้อมการปรับขนาดที่จัดการด้วยฮาร์ดแวร์ โดยเพิ่มปริมาณงานเป็นสองเท่าโดยประมาณในแต่ละขั้นตอนสำหรับปริมาณงานที่ต้องใช้การอนุมานจำนวนมาก คาดหวังการสนับสนุนที่เข้มงวดยิ่งขึ้นสำหรับความกระจัดกระจาย (ข้ามน้ำหนักเป็นศูนย์) รูปแบบไมโครสเกลที่แนบปัจจัยขนาดเข้ากับบล็อกตัวเลขขนาดเล็ก และการบูรณาการที่ลึกยิ่งขึ้นกับระบบหน่วยความจำเพื่อให้คอร์ยังคงได้รับอาหาร เมื่อโมเดลเติบโตขึ้น เมทริกซ์เอ็นจิ้น (ไม่ใช่ความเร็วสัญญาณนาฬิกาดิบ) ยังคงเป็นสมรภูมิสำคัญสำหรับประสิทธิภาพของฮาร์ดแวร์ AI
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
Tensor Cores เป็นหน่วยฮาร์ดแวร์เฉพาะภายใน NVIDIA GPU สมัยใหม่ที่ดำเนินการเมทริกซ์คูณและสะสมอย่างรวดเร็วมาก นี่เป็นเหตุผลหลักที่ทำให้ GPU ตัวเดียวสามารถฝึกและรันโครงข่ายประสาทเทียมขนาดใหญ่ได้เร็วกว่าการคำนวณทั่วไป
Tensor Cores ทำการคูณเมทริกซ์แบบหลอมรวมและการสะสมในขั้นตอนเดียว ซึ่งเป็นการดำเนินการที่ครอบงำเลเยอร์เครือข่ายประสาทอย่างแน่นอน
Tensor Cores เปิดตัวครั้งแรกพร้อมกับสถาปัตยกรรม Volta ในปี 2017 โดยเริ่มต้นด้วยการดำเนินการเมทริกซ์ FP16 4x4
การใช้บิตต่อตัวเลขน้อยลงหมายถึงค่าจะไหลผ่านฮาร์ดแวร์มากขึ้นในแต่ละรอบ ซึ่งเพิ่มความเร็วได้อย่างมากโดยสูญเสียความแม่นยำเพียงเล็กน้อยเท่านั้น ซึ่งปกติจะยอมรับได้
อินพุตอาจมีความแม่นยำต่ำ แต่ตัวสะสมมักจะทำงานด้วยความแม่นยำสูงกว่าเช่น FP32 เพื่อจำกัดการสะสมของข้อผิดพลาดในการปัดเศษ
ไลบรารีพื้นฐานแบ่งการดำเนินการเมทริกซ์ขนาดใหญ่ออกเป็นไทล์ขนาด Tensor-Core โดยอัตโนมัติ ดังนั้นเฟรมเวิร์กจึงเร่งความเร็วได้โดยไม่ต้องเขียนโค้ดด้วยตนเอง
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
Core ML สำหรับการปรับใช้งาน Apple บนอุปกรณ์
เทคนิค