What is LoRA (Low-Rank Adaptation)? Definition | AI Understanding

Ορισμός

Μια μέθοδος μικρορύθμισης αποδοτικής παραμέτρου που προσθέτει πίνακες προσαρμογέων χαμηλής κατάταξης.

Σχετικοί όροι

Παράμετρος Αποτελεσματική Μικροσυντονισμός (PEFT)

Μέθοδοι που προσαρμόζουν μοντέλα εκπαιδεύοντας ένα μικρό υποσύνολο πρόσθετων παραμέτρων.

Μια τεχνική λεπτομέρειας που συνδυάζει κβαντισμό βάρους 4 bit με προσαρμογείς LoRA για μείωση των αναγκών μνήμης.

Βελτιστοποίηση

Συνεχής εκπαίδευση σε δεδομένα συγκεκριμένου τομέα για την προσαρμογή ενός προεκπαιδευμένου μοντέλου σε μια συγκεκριμένη εργασία.

Συντονισμός οδηγιών

Βελτιστοποίηση ενός μοντέλου σε ζεύγη εντολών-απόκρισης για τη βελτίωση της παρακολούθησης εργασιών.

DPO (Άμεση βελτιστοποίηση προτιμήσεων)

Μια μέθοδος εκπαίδευσης που προσαρμόζει τα μοντέλα απευθείας σε ζεύγη προτιμήσεων χωρίς να χρειάζεται ξεχωριστό μοντέλο ανταμοιβής.

Εξομάλυνση ετικετών

Μια μέθοδος τακτοποίησης που μαλακώνει τις σκληρές ετικέτες για να βελτιώσει τη γενίκευση.

Μάθετε περισσότερα στους δωρεάν οδηγούς μας

AI Workflow Automation Barlow Twins and Redundancy Reduction Domain Adaptation Kubeflow and ML Pipeline Orchestration

Δείτε επίσης

Learning Rate Loss Function Large Language Model (LLM)Machine Learning (ML)Latency Memory (Agent Memory)Mixture of Experts (MoE)Knowledge Graph

Περιηγηθείτε στο πλήρες Γλωσσάρι AI Εξερευνήστε όλους τους δωρεάν οδηγούς AI