Όρος Γλωσσάρι AI

Τι είναι QLoRA;

Ορισμός

Μια τεχνική λεπτομέρειας που συνδυάζει κβαντισμό βάρους 4 bit με προσαρμογείς LoRA για μείωση των αναγκών μνήμης.

Περιηγηθείτε στο πλήρες Γλωσσάρι AIΕξερευνήστε όλους τους δωρεάν οδηγούς AI

Σχετικοί όροι

LoRA (Προσαρμογή χαμηλής βαθμίδας)Μια μέθοδος μικρορύθμισης αποδοτικής παραμέτρου που προσθέτει πίνακες προσαρμογέων χαμηλής κατάταξης.ΚβαντισμόςΜετατροπή βαρών μοντέλου σε μορφές χαμηλότερης ακρίβειας, όπως 8-bit ή 4-bit.ΒελτιστοποίησηΣυνεχής εκπαίδευση σε δεδομένα συγκεκριμένου τομέα για την προσαρμογή ενός προεκπαιδευμένου μοντέλου σε μια συγκεκριμένη εργασία.Συντονισμός οδηγιώνΒελτιστοποίηση ενός μοντέλου σε ζεύγη εντολών-απόκρισης για τη βελτίωση της παρακολούθησης εργασιών.Κβαντοποίηση μοντέλουΜείωση της αριθμητικής ακρίβειας των βαρών του μοντέλου για μείωση του κόστους μνήμης και συμπερασμάτων.Παράμετρος Αποτελεσματική Μικροσυντονισμός (PEFT)Μέθοδοι που προσαρμόζουν μοντέλα εκπαιδεύοντας ένα μικρό υποσύνολο πρόσθετων παραμέτρων.

Μάθετε περισσότερα στους δωρεάν οδηγούς μας

QLoRA and 4-Bit Fine-Tuning

Δείτε επίσης

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)