ต่อไปคำแนะนำต่อไป
ฟังก์ชันที่มีอิทธิพลต่อการระบุแหล่งที่มาของข้อมูลการฝึกอบรม
เทคนิค
คู่มือทางเทคนิค
GPTQ และ AWQ เป็นสองวิธีชั้นนำในการลดขนาดโมเดลภาษาที่ได้รับการฝึกมาแล้วให้มีความแม่นยำ 4 บิต เพื่อให้ทำงานบนฮาร์ดแวร์ที่มีราคาถูกลงและมีขนาดเล็กลง
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
They are why you can run a capable model on a single consumer GPU instead of a datacenter rack.
การวัดปริมาณหลังการฝึก (PTQ) บีบอัดแบบจำลองที่เสร็จแล้วโดยไม่ต้องฝึกซ้ำ โดยจับคู่น้ำหนักที่มีความแม่นยำสูงลงไปที่ 4 บิตเพื่อแบ่งส่วนหน่วยความจำโดยประมาณ ความท้าทายคือการทำเช่นนี้โดยไม่ทำลายความแม่นยำ GPTQ (การปรับแต่ง OBQ) จะคำนวณปริมาณน้ำหนักทีละชั้น โดยใช้ข้อมูลลำดับที่สองจากชุดข้อมูลการสอบเทียบขนาดเล็ก เพื่อปรับน้ำหนักที่เหลือและชดเชยข้อผิดพลาดในการปัดเศษแต่ละครั้ง AWQ (การหาปริมาณน้ำหนักที่รับรู้การเปิดใช้งาน) มีมุมมองที่แตกต่างออกไป: โดยสังเกตว่าส่วนเล็กๆ ของช่องน้ำหนักมีความสำคัญอย่างไม่เป็นสัดส่วน โดยระบุโดยการดูขนาดการเปิดใช้งาน และปกป้องช่องทางหลักเหล่านั้นด้วยการปรับขนาดแทนที่จะหาปริมาณอย่างจริงจัง ทั้งสองรุ่นปล่อยให้โมเดลอย่าง Llama ทำงานแบบ 4 บิต และเครื่องมืออย่าง vLLM, llama.cpp และ AutoGPTQ ทำให้โมเดลเหล่านี้เป็นกระแสหลักสำหรับการอนุมานในท้องถิ่นและคุ้มค่า
ใช้งานโมเดล Llama ที่มีพารามิเตอร์ 70 พันล้านพารามิเตอร์บน GPU สำหรับผู้ใช้ทั่วไปขนาด 24 GB ตัวเดียว โดยใช้ตุ้มน้ำหนัก GPTQ 4 บิต
โมเดลเชิงปริมาณ AWQ ให้บริการที่ปริมาณงานสูงใน vLLM สำหรับ API การผลิตที่คุ้มต้นทุน
llama.cpp ใช้น้ำหนัก GGUF เชิงปริมาณเพื่อรันโมเดลภาษาภายในเครื่องบน CPU ของแล็ปท็อป
ไลบรารี AutoGPTQ และ AutoAWQ ของ Hugging Face ช่วยให้นักพัฒนาระบุจำนวนโมเดลที่ดาวน์โหลดโดยใช้โค้ดเพียงไม่กี่บรรทัด
การหาปริมาณกำลังผลักดันให้ต่ำกว่า 4 บิตไปสู่รูปแบบ 3 บิต, 2 บิต และแบบผสมที่มีความแม่นยำ ซึ่งมักจะรวมกับความกระจัดกระจาย คาดว่าจะมีการเชื่อมต่อกับเอ็นจิ้นที่ให้บริการอย่างใกล้ชิดยิ่งขึ้น ดังนั้นการหาปริมาณ การบีบอัดแคช KV และการถอดรหัสแบบเก็งกำไรจึงทำงานร่วมกันได้ การสนับสนุนฮาร์ดแวร์สำหรับรูปแบบบิตต่ำ เช่น NVFP4 และ MXFP4 กำลังเติบโตเต็มที่ และเครื่องมืออัตโนมัติจะเลือกความกว้างบิตต่อเลเยอร์เพิ่มมากขึ้น เป้าหมายกว้างๆ คือ 4 บิต (และต่ำกว่า) ที่ไม่มีการสูญเสียเกือบเป็นค่าเริ่มต้น ทำให้โมเดลที่แข็งแกร่งมีราคาถูกและใช้งานได้ทุกที่
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
GPTQ และ AWQ เป็นสองวิธีชั้นนำในการลดขนาดโมเดลภาษาที่ได้รับการฝึกมาแล้วให้มีความแม่นยำ 4 บิต เพื่อให้ทำงานบนฮาร์ดแวร์ที่มีราคาถูกลงและมีขนาดเล็กลง นี่คือเหตุผลว่าทำไมคุณจึงสามารถใช้งานโมเดลที่มีความสามารถบน GPU สำหรับผู้บริโภคเพียงตัวเดียว แทนที่จะเป็นแร็คศูนย์ข้อมูล
การกำหนดปริมาณหลังการฝึกจะลดความแม่นยำของน้ำหนักของแบบจำลองที่เสร็จแล้ว (เช่น เหลือ 4 บิต) โดยไม่ต้องฝึกใหม่ตั้งแต่ต้น
GPTQ ใช้ Hessian โดยประมาณเพื่อทำความเข้าใจว่าการหาปริมาณน้ำหนักหนึ่งส่งผลต่อการสูญเสียอย่างไร จากนั้นจึงปรับน้ำหนักที่เหลือเพื่อชดเชย
AWQ ระบุช่องทางน้ำหนักหลักโดยใช้ขนาดการเปิดใช้งาน และปกป้องช่องทางเหล่านั้นผ่านการปรับขนาด เนื่องจากมีช่องทางไม่กี่ช่องทางที่มีความสำคัญอย่างไม่สมส่วน
การเปลี่ยนจาก 16 บิตเป็น 4 บิตต่อน้ำหนักจะลดหน่วยความจำน้ำหนักลงเหลือประมาณหนึ่งในสี่ หรือลดลงประมาณ 4 เท่า
น้ำหนักคือต้นทุนหน่วยความจำหลัก ในขณะที่การเปิดใช้งานมีความอ่อนไหวต่อการสูญเสียความแม่นยำมากกว่า ดังนั้น การหาปริมาณเฉพาะน้ำหนักจึงเป็นจุดสนใจทั่วไป
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
ฟังก์ชันที่มีอิทธิพลต่อการระบุแหล่งที่มาของข้อมูลการฝึกอบรม
เทคนิค