แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการวัดปริมาณหลังการฝึกอบรม GPTQ และ AWQ
ตรวจสอบความแตกต่างระหว่าง GPTQ และ AWQ ข้อมูลการสอบเทียบ การชดเชยความโค้ง ช่องที่รับรู้การเปิดใช้งาน และหน่วยความจำบิตต่ำ
คำถาม 1 ของ 8
'การวัดปริมาณหลังการฝึกอบรม' หมายความว่าอย่างไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- 'การวัดปริมาณหลังการฝึกอบรม' หมายความว่าอย่างไร
- การบีบอัดตุ้มน้ำหนักของโมเดลที่ผ่านการฝึกอบรมแล้วเพื่อลดความแม่นยำโดยไม่ต้องฝึกใหม่ทั้งหมด
- ฝึกโมเดลใหม่ทั้งหมดด้วยความแม่นยำต่ำ
- การเพิ่มข้อมูลการฝึกอบรมเพิ่มเติมหลังจากการปรับใช้
- การเพิ่มจำนวนพารามิเตอร์ของโมเดล
- GPTQ ใช้ข้อมูลใดเพื่อชดเชยข้อผิดพลาดในการปัดเศษเมื่อหาปริมาณ
- รายการคำศัพท์ของแบบจำลอง
- ข้อมูลลำดับที่สอง (Hessian/curvature) จากชุดข้อมูลการสอบเทียบ
- ประวัติพร้อมท์ของผู้ใช้
- เสียงสุ่ม
- ข้อมูลเชิงลึกที่สำคัญประการใดที่ขับเคลื่อน AWQ (ปริมาณน้ำหนักที่รับรู้ถึงการเปิดใช้งาน)
- น้ำหนักทั้งหมดมีความสำคัญเท่าเทียมกัน
- การเปิดใช้งานควรได้รับการวัดปริมาณแต่ปล่อยน้ำหนักไว้โดยไม่มีใครแตะต้อง
- ช่องรับน้ำหนักเพียงเล็กน้อยมีความสำคัญอย่างยิ่งและควรได้รับการปกป้อง
- การหาปริมาณควรเกิดขึ้นระหว่างการฝึกล่วงหน้าเท่านั้น
- การหาปริมาณหน่วยความจำแบบ 4 บิตประหยัดได้ประมาณเท่าใดเมื่อเทียบกับน้ำหนักแบบ 16 บิต
- ไม่มีเงินออม
- หน่วยความจำประมาณสองเท่า
- ครึ่งหนึ่งของหน่วยความจำนั่นเอง
- หน่วยความจำประมาณหนึ่งในสี่ (ลดลง 4 เท่า)
- เหตุใดทั้ง GPTQ และ AWQ จึงมักหาปริมาณน้ำหนักแต่ให้การเปิดใช้งานที่มีความแม่นยำสูงกว่า
- น้ำหนักครอบงำหน่วยความจำ และการหาปริมาณการเปิดใช้งานเชิงรุกมีแนวโน้มที่จะส่งผลเสียต่อความแม่นยำมากกว่า
- ไม่มีการเปิดใช้งานในหม้อแปลงไฟฟ้า
- การเปิดใช้งานเป็นแบบ 1 บิตแล้ว
- เป็นไปตามที่กฎหมายกำหนด
- เครื่องมือใดที่มักใช้เพื่อรันโมเดลเชิงปริมาณภายในฮาร์ดแวร์ของผู้บริโภค
- Microsoft คำพูด
- llama.cpp
- โปรแกรมสเปรดชีต
- เว็บเบราว์เซอร์เพียงอย่างเดียว
- How does GPTQ use a calibration dataset during layer-wise weight quantization?
- It adds new training labels to the model
- It selects a new tokenizer vocabulary
- It estimates second-order information to compensate for rounding errors
- It measures only GPU temperature
- How does AWQ identify which weight channels deserve protection?
- It computes a full Hessian inverse
- It adds random noise to all weights
- It selects channels only by their index
- It uses activation magnitudes to identify channels important to preserve