Τι είναι QLoRA?

Μια μέθοδος μικρορύθμισης αποδοτικής παραμέτρου που προσθέτει πίνακες προσαρμογέων χαμηλής κατάταξης.

Μετατροπή βαρών μοντέλου σε μορφές χαμηλότερης ακρίβειας, όπως 8-bit ή 4-bit.

Συνεχής εκπαίδευση σε δεδομένα συγκεκριμένου τομέα για την προσαρμογή ενός προεκπαιδευμένου μοντέλου σε μια συγκεκριμένη εργασία.

Βελτιστοποίηση ενός μοντέλου σε ζεύγη εντολών-απόκρισης για τη βελτίωση της παρακολούθησης εργασιών.

Μείωση της αριθμητικής ακρίβειας των βαρών του μοντέλου για μείωση του κόστους μνήμης και συμπερασμάτων.

Μέθοδοι που προσαρμόζουν μοντέλα εκπαιδεύοντας ένα μικρό υποσύνολο πρόσθετων παραμέτρων.