คำศัพท์อภิธานศัพท์ AI

LoRA (การปรับตัวระดับต่ำ) คืออะไร?

คำนิยาม

วิธีการปรับแต่งแบบละเอียดที่มีประสิทธิภาพด้วยพารามิเตอร์ที่เพิ่มเมทริกซ์อะแด็ปเตอร์ระดับต่ำ

การปรับแบบละเอียดอย่างมีประสิทธิภาพด้วยพารามิเตอร์ (PEFT)วิธีการปรับโมเดลโดยการฝึกชุดย่อยเล็กๆ ของพารามิเตอร์ที่เพิ่มเข้ามาคิวลอราเทคนิคการปรับแต่งอย่างละเอียดที่รวมการวัดปริมาณน้ำหนัก 4 บิตเข้ากับอะแดปเตอร์ LoRA เพื่อลดความต้องการหน่วยความจำการปรับแต่งแบบละเอียดการฝึกอบรมอย่างต่อเนื่องเกี่ยวกับข้อมูลเฉพาะโดเมนเพื่อปรับโมเดลที่ได้รับการฝึกอบรมล่วงหน้าให้เข้ากับงานเฉพาะการปรับแต่งคำสั่งปรับแต่งแบบจำลองในคู่คำสั่งและการตอบสนองเพื่อปรับปรุงงานต่อไปนี้อ.ส.ค. (การเพิ่มประสิทธิภาพการตั้งค่าโดยตรง)วิธีการฝึกอบรมที่ปรับแต่งโมเดลโดยตรงตามคู่ความชอบ โดยไม่ต้องใช้โมเดลรางวัลแยกต่างหากการปรับฉลากให้เรียบวิธีการทำให้เป็นมาตรฐานที่ทำให้ฉลากแข็งอ่อนลงเพื่อปรับปรุงลักษณะทั่วไป

เรียนรู้เพิ่มเติมในคำแนะนำฟรีของเรา

ดูเพิ่มเติม