What is Quantization? Definition | AI Understanding

คำนิยาม

การแปลงน้ำหนักโมเดลเป็นรูปแบบที่มีความแม่นยำต่ำ เช่น 8 บิตหรือ 4 บิต

ข้อกำหนดที่เกี่ยวข้อง

การหาปริมาณแบบจำลอง

ลดความแม่นยำเชิงตัวเลขของน้ำหนักโมเดลเพื่อลดต้นทุนหน่วยความจำและการอนุมาน

คิวลอรา

เทคนิคการปรับแต่งอย่างละเอียดที่รวมการวัดปริมาณน้ำหนัก 4 บิตเข้ากับอะแดปเตอร์ LoRA เพื่อลดความต้องการหน่วยความจำ

การขยายพันธุ์กลับ

อัลกอริธึมการฝึกอบรมหลักที่อัปเดตน้ำหนักโมเดลโดยเผยแพร่ข้อผิดพลาดในการคาดการณ์แบบย้อนกลับผ่านเครือข่าย

เครือข่ายประสาทเทียม (CNN)

สถาปัตยกรรมประสาทที่ได้รับการปรับให้เหมาะสมสำหรับการประมวลผลข้อมูลที่มีลักษณะคล้ายตาราง เช่น รูปภาพ

การสกัดคุณลักษณะ

การแปลงข้อมูลดิบเป็นคุณลักษณะข้อมูลที่โมเดลสามารถใช้ได้

AI เชิงสร้างสรรค์

ระบบ AI ที่สร้างเนื้อหาใหม่ๆ เช่น ข้อความ รูปภาพ เสียง วิดีโอ หรือโค้ด

เรียนรู้เพิ่มเติมในคำแนะนำฟรีของเรา

Residual Vector Quantization SmoothQuant and Activation Quantization GPTQ and AWQ Post-Training Quantization Quantization

ดูเพิ่มเติม

Pruning RAG (Retrieval-Augmented Generation)Prompt Injection Recall Prompt Engineering Recommendation System Prompt Red Teaming

เรียกดูอภิธานศัพท์ AI ฉบับเต็ม สำรวจคำแนะนำ AI ฟรีทั้งหมด