คู่มือทางเทคนิค

SmoothQuant และปริมาณการเปิดใช้งาน

SmoothQuant เป็นเทคนิคที่ทำให้สามารถบีบอัดโมเดลภาษาขนาดใหญ่ให้เป็นจำนวนเต็ม 8 บิตสำหรับทั้งน้ำหนักและการเปิดใช้งานโดยไม่ต้องฝึกอบรมซ้ำ

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของ SmoothQuant และ Activation Quantization
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

มันสําคัญเพราะการเปิดใช้งานในโมเดลขนาดใหญ่มีค่าผิดปกติสุดขั้วที่ทําลายคณิตศาสตร์ความแม่นยําต่ํา และ SmoothQuant ก็จัดการกับค่าเหล่านั้นได้

เจาะลึก

เมื่อคุณย่อขนาดโมเดลจากจำนวนเต็มลอย 16 บิตเป็นจำนวนเต็ม 8 บิต น้ำหนักจะบีบอัดได้ง่าย แต่การเปิดใช้งานมีปัญหา: บางช่องมีค่ามากกว่าที่เหลือ 10 ถึง 100 เท่า และการบังคับให้เป็นตารางจำนวนเต็มหยาบจะทำลายความแม่นยำ SmoothQuant เปิดตัวโดย Xiao และคณะ ในปี 2022 สังเกตว่าตุ้มน้ำหนักมีความราบรื่นและวัดปริมาณได้ง่ายในขณะที่การเปิดใช้งานมีหนามแหลม ดังนั้นจึงย้ายความยากลำบากทางคณิตศาสตร์ โดยแบ่งช่องการเปิดใช้งานตามมาตราส่วนต่อช่อง และคูณน้ำหนักที่สอดคล้องกันด้วยมาตราส่วนเดียวกัน การดำเนินการทั้งสองถูกยกเลิก ปล่อยให้โมเดลเอาท์พุตไม่เปลี่ยนแปลง แต่ตอนนี้เทนเซอร์ทั้งสองอยู่ในช่วงที่เป็นมิตร ผลลัพธ์ที่ได้คือการอนุมาน W8A8 (น้ำหนัก 8 บิตและการเปิดใช้งาน) โดยมีการสูญเสียความแม่นยำเกือบเป็นศูนย์ และการเร่งความเร็วและประหยัดหน่วยความจำประมาณ 2 เท่า

การใช้งานจริงในโลกแห่งความเป็นจริง

ให้บริการ LLM พารามิเตอร์ 70B ที่ W8A8 บน GPU น้อยลงโดยลดต้นทุนทั้งหน่วยความจำและเมทริกซ์คูณครึ่งหนึ่ง

เปิดใช้งานการอนุมาน INT8 บนแกนเทนเซอร์ NVIDIA Hopper/Blackwell ที่เร่งความเร็วทางคณิตศาสตร์จำนวนเต็ม 8 บิตโดยกำเนิด

การปรับใช้โมเดลการแชทบนจุดสิ้นสุดบนคลาวด์ที่มีต้นทุนจำกัด ซึ่งปริมาณงานที่เพิ่มขึ้นเป็นสองเท่าจะช่วยลดค่าใช้จ่ายต่อโทเค็นโดยตรง

การบีบอัดตัวเข้ารหัสหม้อแปลงสำหรับคำพูดหรือการแปลบนอุปกรณ์โดยที่เคอร์เนล 8 บิตทำงานเร็วขึ้นและเย็นลง

อนาคตของ SmoothQuant และ Activation Quantization

SmoothQuant กำหนดว่าค่าผิดปกติในการเปิดใช้งานสามารถโยกย้ายได้แทนที่จะหลีกเลี่ยงไม่ได้ และแนวคิดดังกล่าวเป็นรากฐานของการให้บริการ INT8 และ FP8 ที่ใช้งานจริง คาดว่าการปรับให้เรียบจะรวมกับแผนการที่มีรายละเอียดมากขึ้น เช่น การหาปริมาณต่อกลุ่ม การปรับขนาดที่เรียนรู้ และการวิจัยการเปิดใช้งาน 4 บิต (เช่น วิธีการรับรู้ค่าผิดปกติ) เมื่อฮาร์ดแวร์ FP8 (Hopper, Blackwell) เติบโตเต็มที่ การปรับสมดุลแบบเรียบจะถูกรวมเข้ากับไปป์ไลน์ของคอมไพเลอร์และกลไกการอนุมาน ดังนั้นการหาปริมาณจึงแทบจะไม่มีอิสระ

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the SmoothQuant and Activation Quantization quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

SmoothQuant และ Activation Quantization คืออะไร?

SmoothQuant เป็นเทคนิคที่ทำให้สามารถบีบอัดโมเดลภาษาขนาดใหญ่ให้เป็นจำนวนเต็ม 8 บิตสำหรับทั้งน้ำหนักและการเปิดใช้งานโดยไม่ต้องฝึกอบรมซ้ำ เป็นเรื่องสำคัญเนื่องจากการเปิดใช้งานในโมเดลขนาดใหญ่มีค่าผิดปกติอย่างมาก ซึ่งโดยปกติแล้วจะทำลายคณิตศาสตร์ที่มีความแม่นยำต่ำ และ SmoothQuant ก็ควบคุมมันได้

SmoothQuant จัดการปัญหาใดเป็นพิเศษในการอนุมานที่มีความแม่นยำต่ำ

SmoothQuant กำหนดเป้าหมายค่าผิดปกติขนาดใหญ่ที่ปรากฏในช่องทางการเปิดใช้งานบางช่อง ซึ่งจะทำลายความแม่นยำเมื่อการเปิดใช้งานมีจำนวน 8 บิต

SmoothQuant ช่วยให้การเปิดใช้งานง่ายขึ้นในการนับจำนวนได้อย่างไร

โดยแบ่งช่องการเปิดใช้งานตามมาตราส่วนต่อช่องสัญญาณ และคูณน้ำหนักที่ตรงกันด้วยมาตราส่วนนั้น ดังนั้นผลิตภัณฑ์จึงไม่เปลี่ยนแปลง แต่เทนเซอร์ทั้งสองจะระบุปริมาณได้ง่ายขึ้น

สัญกรณ์ W8A8 หมายถึงอะไร?

W8A8 หมายถึงการหาปริมาณ 8 บิตสำหรับทั้งน้ำหนัก (W) และการเปิดใช้งาน (A) ระบบ SmoothQuant ช่วยให้สูญเสียความแม่นยำน้อยที่สุด

เหตุใดการปรับขนาดของ SmoothQuant จึงเพิ่มไม่มีค่าใช้จ่ายรันไทม์เป็นหลัก

สเกลการปรับให้เรียบจะถูกพับเก็บลงในตุ้มน้ำหนักของเลเยอร์ก่อนหน้าหรือ op ที่หลอมรวมไว้ล่วงหน้า ดังนั้นจึงไม่มีการคำนวณเพิ่มเติมเกิดขึ้นในการอนุมาน

ไฮเปอร์พารามิเตอร์อัลฟามีบทบาทอย่างไรใน SmoothQuant

อัลฟ่า (โดยทั่วไปคือ 0.5) จะปรับสมดุลปัจจัยการปรับให้เรียบ โดยตัดสินใจว่าความยากในการวัดปริมาณจะถูกย้ายออกจากการเปิดใช้งานและไปยังตุ้มน้ำหนักมากน้อยเพียงใด

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →