คู่มือทางเทคนิค

การกำหนดปริมาณหลังการฝึกอบรม GPTQ และ AWQ

GPTQ และ AWQ เป็นสองวิธีชั้นนำในการลดขนาดโมเดลภาษาที่ได้รับการฝึกมาแล้วให้มีความแม่นยำ 4 บิต เพื่อให้ทำงานบนฮาร์ดแวร์ที่มีราคาถูกลงและมีขนาดเล็กลง

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการกำหนดปริมาณหลังการฝึกอบรม GPTQ และ AWQ
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

They are why you can run a capable model on a single consumer GPU instead of a datacenter rack.

เจาะลึก

การวัดปริมาณหลังการฝึก (PTQ) บีบอัดแบบจำลองที่เสร็จแล้วโดยไม่ต้องฝึกซ้ำ โดยจับคู่น้ำหนักที่มีความแม่นยำสูงลงไปที่ 4 บิตเพื่อแบ่งส่วนหน่วยความจำโดยประมาณ ความท้าทายคือการทำเช่นนี้โดยไม่ทำลายความแม่นยำ GPTQ (การปรับแต่ง OBQ) จะคำนวณปริมาณน้ำหนักทีละชั้น โดยใช้ข้อมูลลำดับที่สองจากชุดข้อมูลการสอบเทียบขนาดเล็ก เพื่อปรับน้ำหนักที่เหลือและชดเชยข้อผิดพลาดในการปัดเศษแต่ละครั้ง AWQ (การหาปริมาณน้ำหนักที่รับรู้การเปิดใช้งาน) มีมุมมองที่แตกต่างออกไป: โดยสังเกตว่าส่วนเล็กๆ ของช่องน้ำหนักมีความสำคัญอย่างไม่เป็นสัดส่วน โดยระบุโดยการดูขนาดการเปิดใช้งาน และปกป้องช่องทางหลักเหล่านั้นด้วยการปรับขนาดแทนที่จะหาปริมาณอย่างจริงจัง ทั้งสองรุ่นปล่อยให้โมเดลอย่าง Llama ทำงานแบบ 4 บิต และเครื่องมืออย่าง vLLM, llama.cpp และ AutoGPTQ ทำให้โมเดลเหล่านี้เป็นกระแสหลักสำหรับการอนุมานในท้องถิ่นและคุ้มค่า

การใช้งานจริงในโลกแห่งความเป็นจริง

ใช้งานโมเดล Llama ที่มีพารามิเตอร์ 70 พันล้านพารามิเตอร์บน GPU สำหรับผู้ใช้ทั่วไปขนาด 24 GB ตัวเดียว โดยใช้ตุ้มน้ำหนัก GPTQ 4 บิต

โมเดลเชิงปริมาณ AWQ ให้บริการที่ปริมาณงานสูงใน vLLM สำหรับ API การผลิตที่คุ้มต้นทุน

llama.cpp ใช้น้ำหนัก GGUF เชิงปริมาณเพื่อรันโมเดลภาษาภายในเครื่องบน CPU ของแล็ปท็อป

ไลบรารี AutoGPTQ และ AutoAWQ ของ Hugging Face ช่วยให้นักพัฒนาระบุจำนวนโมเดลที่ดาวน์โหลดโดยใช้โค้ดเพียงไม่กี่บรรทัด

อนาคตของการกำหนดปริมาณหลังการฝึกอบรม GPTQ และ AWQ

การหาปริมาณกำลังผลักดันให้ต่ำกว่า 4 บิตไปสู่รูปแบบ 3 บิต, 2 บิต และแบบผสมที่มีความแม่นยำ ซึ่งมักจะรวมกับความกระจัดกระจาย คาดว่าจะมีการเชื่อมต่อกับเอ็นจิ้นที่ให้บริการอย่างใกล้ชิดยิ่งขึ้น ดังนั้นการหาปริมาณ การบีบอัดแคช KV และการถอดรหัสแบบเก็งกำไรจึงทำงานร่วมกันได้ การสนับสนุนฮาร์ดแวร์สำหรับรูปแบบบิตต่ำ เช่น NVFP4 และ MXFP4 กำลังเติบโตเต็มที่ และเครื่องมืออัตโนมัติจะเลือกความกว้างบิตต่อเลเยอร์เพิ่มมากขึ้น เป้าหมายกว้างๆ คือ 4 บิต (และต่ำกว่า) ที่ไม่มีการสูญเสียเกือบเป็นค่าเริ่มต้น ทำให้โมเดลที่แข็งแกร่งมีราคาถูกและใช้งานได้ทุกที่

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the GPTQ and AWQ Post-Training Quantization quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is GPTQ and AWQ Post-Training Quantization?

GPTQ และ AWQ เป็นสองวิธีชั้นนำในการลดขนาดโมเดลภาษาที่ได้รับการฝึกมาแล้วให้มีความแม่นยำ 4 บิต เพื่อให้ทำงานบนฮาร์ดแวร์ที่มีราคาถูกลงและมีขนาดเล็กลง นี่คือเหตุผลว่าทำไมคุณจึงสามารถใช้งานโมเดลที่มีความสามารถบน GPU สำหรับผู้บริโภคเพียงตัวเดียว แทนที่จะเป็นแร็คศูนย์ข้อมูล

'การวัดปริมาณหลังการฝึกอบรม' หมายความว่าอย่างไร

การกำหนดปริมาณหลังการฝึกจะลดความแม่นยำของน้ำหนักของแบบจำลองที่เสร็จแล้ว (เช่น เหลือ 4 บิต) โดยไม่ต้องฝึกใหม่ตั้งแต่ต้น

GPTQ ใช้ข้อมูลใดเพื่อชดเชยข้อผิดพลาดในการปัดเศษเมื่อหาปริมาณ

GPTQ ใช้ Hessian โดยประมาณเพื่อทำความเข้าใจว่าการหาปริมาณน้ำหนักหนึ่งส่งผลต่อการสูญเสียอย่างไร จากนั้นจึงปรับน้ำหนักที่เหลือเพื่อชดเชย

ข้อมูลเชิงลึกที่สำคัญประการใดที่ขับเคลื่อน AWQ (ปริมาณน้ำหนักที่รับรู้ถึงการเปิดใช้งาน)

AWQ ระบุช่องทางน้ำหนักหลักโดยใช้ขนาดการเปิดใช้งาน และปกป้องช่องทางเหล่านั้นผ่านการปรับขนาด เนื่องจากมีช่องทางไม่กี่ช่องทางที่มีความสำคัญอย่างไม่สมส่วน

การหาปริมาณหน่วยความจำแบบ 4 บิตประหยัดได้ประมาณเท่าใดเมื่อเทียบกับน้ำหนักแบบ 16 บิต

การเปลี่ยนจาก 16 บิตเป็น 4 บิตต่อน้ำหนักจะลดหน่วยความจำน้ำหนักลงเหลือประมาณหนึ่งในสี่ หรือลดลงประมาณ 4 เท่า

เหตุใดทั้ง GPTQ และ AWQ จึงมักหาปริมาณน้ำหนักแต่ให้การเปิดใช้งานที่มีความแม่นยำสูงกว่า

น้ำหนักคือต้นทุนหน่วยความจำหลัก ในขณะที่การเปิดใช้งานมีความอ่อนไหวต่อการสูญเสียความแม่นยำมากกว่า ดังนั้น การหาปริมาณเฉพาะน้ำหนักจึงเป็นจุดสนใจทั่วไป

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →