แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการหาปริมาณแบบจำลอง
ใช้พื้นที่จัดเก็บเชิงปริมาณ ปัจจัยการปรับขนาด และการแลกเปลี่ยนความแม่นยำ รวมถึงเหตุใดการลดน้ำหนักโดยรวมจึงไม่รับประกันความพอดีหรือความเร็วของโมเดล
คำถาม 1 ของ 8
Quantizing a model mainly reduces what?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- Quantizing a model mainly reduces what?
- ความแม่นยำเชิงตัวเลขที่ใช้ในการจัดเก็บน้ำหนักและการเปิดใช้งาน
- จำนวนเลเยอร์ในเครือข่าย
- ชุดข้อมูลการฝึกอบรมที่แบบจำลองสร้างขึ้น
- ภาษาที่โมเดลสามารถเข้าใจได้
- Ignoring scale metadata and other runtime tensors, what is the weight-payload ratio from sixteen bits to four bits per weight?
- The payload is unchanged
- It is one hundredth of the original payload
- The four-bit payload is one quarter of the sixteen-bit payload
- The payload becomes four times larger
- ข้อเสียเปรียบหลักของการหาปริมาณบิตต่ำเชิงรุกคืออะไร?
- โมเดลลืมภาษาการฝึก
- การสูญเสียความแม่นยำที่อาจเกิดขึ้นเนื่องจากค่าถูกบีบลงในที่เก็บข้อมูลน้อยลง
- สามารถทำงานบนซูเปอร์คอมพิวเตอร์เท่านั้น
- มันจะลบเลเยอร์อย่างถาวร
- การฝึกอบรมที่คำนึงถึงเชิงปริมาณแตกต่างจากการวัดปริมาณหลังการฝึกอบรมอย่างไร
- มันไม่จำเป็นต้องมีข้อมูลเลย
- มันใช้งานได้กับภาพเท่านั้น
- มันเพิ่มจำนวนบิตเมื่อเวลาผ่านไป
- โดยจำลองการปัดเศษระหว่างการฝึก เพื่อให้โมเดลเรียนรู้ที่จะทนต่อความแม่นยำต่ำ
- เทคนิคใดที่ใช้การวัดปริมาณ 4 บิตเพื่อปรับแต่งโมเดลขนาดใหญ่อย่างละเอียดในราคาประหยัดด้วย GPU ตัวเดียว
- การออกกลางคัน
- การทำให้เป็นมาตรฐานแบบแบตช์
- คิวลอรา
- โทเค็น
- เหตุใดการปรับขนาดต่อแชนเนลหรือต่อกลุ่มจึงช่วยโมเดลเชิงปริมาณ
- โดยจะกำหนดสเกลแฟกเตอร์แยกกันให้กับส่วนของเมทริกซ์น้ำหนักเพื่อรักษาความแม่นยำ
- ไม่จำเป็นต้องมีน้ำหนักใดๆ
- มันทำให้โมเดลมีขนาดใหญ่ขึ้น
- มันแปลงข้อความเป็นเสียง
- A four-bit model’s raw weights fit in available VRAM, but serving fails out of memory. What could explain this?
- Every four-bit weight expands permanently to a gigabyte
- Quantization guarantees no runtime allocations
- Only the model’s filename consumes the remaining memory
- Caches, scales, unquantized tensors, or workspace need additional memory
- A team quantizes to INT8 but sees no inference speedup. What should it check?
- Whether the training data are alphabetized
- Whether the workload uses efficient supported kernels on its hardware
- Whether lower bit width always guarantees faster execution
- Whether the model must have changed languages