What is LoRA (Low-Rank Adaptation)? Definition | AI Understanding

คำนิยาม

วิธีการปรับแต่งแบบละเอียดที่มีประสิทธิภาพด้วยพารามิเตอร์ที่เพิ่มเมทริกซ์อะแด็ปเตอร์ระดับต่ำ

ข้อกำหนดที่เกี่ยวข้อง

การปรับแบบละเอียดอย่างมีประสิทธิภาพด้วยพารามิเตอร์ (PEFT)

วิธีการปรับโมเดลโดยการฝึกชุดย่อยเล็กๆ ของพารามิเตอร์ที่เพิ่มเข้ามา

คิวลอรา

เทคนิคการปรับแต่งอย่างละเอียดที่รวมการวัดปริมาณน้ำหนัก 4 บิตเข้ากับอะแดปเตอร์ LoRA เพื่อลดความต้องการหน่วยความจำ

การปรับแต่งแบบละเอียด

การฝึกอบรมอย่างต่อเนื่องเกี่ยวกับข้อมูลเฉพาะโดเมนเพื่อปรับโมเดลที่ได้รับการฝึกอบรมล่วงหน้าให้เข้ากับงานเฉพาะ

การปรับแต่งคำสั่ง

ปรับแต่งแบบจำลองในคู่คำสั่งและการตอบสนองเพื่อปรับปรุงงานต่อไปนี้

อ.ส.ค. (การเพิ่มประสิทธิภาพการตั้งค่าโดยตรง)

วิธีการฝึกอบรมที่ปรับแต่งโมเดลโดยตรงตามคู่ความชอบ โดยไม่ต้องใช้โมเดลรางวัลแยกต่างหาก

การปรับฉลากให้เรียบ

วิธีการทำให้เป็นมาตรฐานที่ทำให้ฉลากแข็งอ่อนลงเพื่อปรับปรุงลักษณะทั่วไป

เรียนรู้เพิ่มเติมในคำแนะนำฟรีของเรา

AI Workflow Automation Barlow Twins and Redundancy Reduction Domain Adaptation Kubeflow and ML Pipeline Orchestration

ดูเพิ่มเติม

Learning Rate Loss Function Large Language Model (LLM)Machine Learning (ML)Latency Memory (Agent Memory)Mixture of Experts (MoE)Knowledge Graph

เรียกดูอภิธานศัพท์ AI ฉบับเต็ม สำรวจคำแนะนำ AI ฟรีทั้งหมด