คำศัพท์อภิธานศัพท์ AI

คืออะไร คิวลอรา?

คำนิยาม

เทคนิคการปรับแต่งอย่างละเอียดที่รวมการวัดปริมาณน้ำหนัก 4 บิตเข้ากับอะแดปเตอร์ LoRA เพื่อลดความต้องการหน่วยความจำ

ข้อกำหนดที่เกี่ยวข้อง

LoRA (การปรับตัวระดับต่ำ)
วิธีการปรับแต่งแบบละเอียดที่มีประสิทธิภาพด้วยพารามิเตอร์ที่เพิ่มเมทริกซ์อะแด็ปเตอร์ระดับต่ำ
การหาปริมาณ
การแปลงน้ำหนักโมเดลเป็นรูปแบบที่มีความแม่นยำต่ำ เช่น 8 บิตหรือ 4 บิต
การปรับแต่งแบบละเอียด
การฝึกอบรมอย่างต่อเนื่องเกี่ยวกับข้อมูลเฉพาะโดเมนเพื่อปรับโมเดลที่ได้รับการฝึกอบรมล่วงหน้าให้เข้ากับงานเฉพาะ
การปรับแต่งคำสั่ง
ปรับแต่งแบบจำลองในคู่คำสั่งและการตอบสนองเพื่อปรับปรุงงานต่อไปนี้
การหาปริมาณแบบจำลอง
ลดความแม่นยำเชิงตัวเลขของน้ำหนักโมเดลเพื่อลดต้นทุนหน่วยความจำและการอนุมาน
การปรับแบบละเอียดอย่างมีประสิทธิภาพด้วยพารามิเตอร์ (PEFT)
วิธีการปรับโมเดลโดยการฝึกชุดย่อยเล็กๆ ของพารามิเตอร์ที่เพิ่มเข้ามา

เรียนรู้เพิ่มเติมในคำแนะนำฟรีของเรา

QLoRA and 4-Bit Fine-Tuning

ดูเพิ่มเติม

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)
เรียกดูอภิธานศัพท์ AI ฉบับเต็มสำรวจคำแนะนำ AI ฟรีทั้งหมด