ΕπόμενοΕπόμενος οδηγός
Fine-Tuning εναντίον RAG vs Prompting
Γλώσσα AI
ΟΔΗΓΟΣ ΓΛΩΣΣΑΣ AI
QLoRA και 4-bit Fine-Tuning
Το QLoRA είναι μια τεχνική που σας επιτρέπει να ρυθμίσετε με ακρίβεια ένα τεράστιο μοντέλο γλώσσας σε μια GPU ενός καταναλωτή, αποθηκεύοντας το παγωμένο μοντέλο σε μόλις 4 bit ανά βάρος.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
It made customizing 65B-parameter models possible on hardware that previously could only handle models a fraction of that size.
Βαθιά κατάδυση
Κανονικά, η τελειοποίηση ενός μεγάλου μοντέλου σημαίνει φόρτωση κάθε βάρους με ακρίβεια 16 bit και ενημέρωση όλων, κάτι που απαιτεί τεράστια μνήμη. Το QLoRA συνδυάζει δύο ιδέες. Πρώτον, παγώνει το προεκπαιδευμένο μοντέλο και το κβαντίζει σε 4 bit, μειώνοντας τη μνήμη περίπου τέσσερις φορές. Δεύτερον, χρησιμοποιεί LoRA: αντί να ενημερώνει τους γιγάντιους πίνακες βάρους, εγχέει μικροσκοπικούς πίνακες προσαρμογέων χαμηλής κατάταξης που μπορούν να εκπαιδεύονται μαζί τους, έτσι ώστε να ενημερώνονται μόνο μερικά εκατομμύρια παράμετροι. Η βάση 4-bit παραμένει σταθερή ενώ οι διαβαθμίσεις ρέουν μόνο μέσω των μικρών προσαρμογέων. Το QLoRA, το οποίο εισήχθη το 2023 από τον Dettmers και τους συνεργάτες του, έδειξε ότι η λεπτομέρεια ενός μοντέλου 65Β σε μία GPU 48 GB θα μπορούσε να ταιριάζει με την ποιότητα της πλήρους λεπτομέρειας 16 bit.
Υλοποίηση σε πραγματικό κόσμο
Μια startup συντονίζει με ακρίβεια ένα μοντέλο Llama 70B σε μια ενιαία GPU 48 GB για να δημιουργήσει έναν βοηθό υποστήριξης πελατών με τη φωνή της δικής της επωνυμίας χωρίς να νοικιάσει ένα σύμπλεγμα διακομιστών.
Ένας ερευνητής με έναν καταναλωτή RTX 4090 προσαρμόζει ένα ανοιχτό μοντέλο σε ένα εξειδικευμένο σύνολο δεδομένων ιατρικών απαντήσεων σε μια νύχτα.
Ένας προγραμματιστής δημιουργεί δεκάδες μικρούς, ανταλλάξιμους προσαρμογείς LoRA για διαφορετικές εργασίες, όλοι μοιράζονται ένα βασικό μοντέλο 4-bit φορτωμένο στη μνήμη.
Ένας χομπίστας συντονίζει ένα μοντέλο στα προσωπικά του αρχεία καταγραφής συνομιλιών για να μιμηθεί ένα συγκεκριμένο στυλ γραφής χρησιμοποιώντας δωρεάν υλικό ποιότητας Colab.
Το μέλλον του QLoRA και του 4-bit Fine-Tuning
Η λεπτομέρεια των 4 bit έχει γίνει τυπική πρακτική και η έρευνα ωθεί τώρα προς ακόμη χαμηλότερη ακρίβεια, συμπεριλαμβανομένων των αναπαραστάσεων 2 bit και 1 bit (τριμερής). Τα νεότερα σχήματα κβαντοποίησης όπως τα AWQ, GPTQ και HQQ βελτιώνουν περαιτέρω την ακρίβεια, ενώ τεχνικές όπως το QA-LoRA στοχεύουν να διατηρήσουν το μοντέλο κβαντισμένο ακόμη και μετά τη συγχώνευση προσαρμογέων. Καθώς τα μοντέλα ανοιχτού βάρους αναπτύσσονται, περιμένετε εργαλεία που θα επιτρέπουν στους χομπίστες να προσαρμόζουν τα μοντέλα 70B plus σε μια ενιαία GPU gaming για να γίνουν ρουτίνα, εκδημοκρατίζοντας την προσαρμογή.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Ταχύτητα και κλίμακα. Οι ροές εργασίας της γλώσσας μπορούν να κινηθούν πιο γρήγορα χωρίς να θυσιάζεται η συνέπεια.
- Πρόσβαση και προσέγγιση χρηστών. Επεκτείνει την πρόσβαση σε όλες τις γλώσσες και τα στυλ επικοινωνίας.
- Σαφέστερες αποφάσεις. Οι ομάδες μπορούν να αφιερώσουν περισσότερο χρόνο στην κρίση, ενώ ο αυτοματισμός χειρίζεται την επανάληψη.
Προσέξτε
- Τα παραισθησιακά γεγονότα μπορούν να εισάγουν αθόρυβα αναφορές, να υποστηρίζουν ροές ή αποτελέσματα έρευνας.
- Η άμεση ευαισθησία μπορεί να δημιουργήσει ασυνεπή αποτελέσματα σε παρόμοια αιτήματα.
- Τα ευαίσθητα δεδομένα κειμένου ενδέχεται να εκτεθούν εάν τα στοιχεία ελέγχου πρόσβασης είναι αδύναμα.
Επόμενα βήματα
- Καθορίστε τη μορφή εξόδου, τον τόνο και τα πρότυπα ποιότητας πριν από την κυκλοφορία.
- Επίγειες απαντήσεις με αξιόπιστες πηγές όποτε έχει σημασία η ακρίβεια.
- Διατηρήστε ένα σημείο ελέγχου ανθρώπινης αξιολόγησης για αποτελέσματα υψηλού πονταρίσματος.
- Παρακολουθήστε τα μοτίβα αποτυχίας και επανεκπαιδεύστε τις προτροπές ή τις ροές εργασίας τακτικά.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the QLoRA and 4-Bit Fine-Tuning quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is QLoRA and 4-Bit Fine-Tuning?
Το QLoRA είναι μια τεχνική που σας επιτρέπει να ρυθμίσετε με ακρίβεια ένα τεράστιο μοντέλο γλώσσας σε μια GPU ενός καταναλωτή, αποθηκεύοντας το παγωμένο μοντέλο σε μόλις 4 bit ανά βάρος. Κατέστησε δυνατή την προσαρμογή μοντέλων παραμέτρων 65Β σε υλικό που προηγουμένως μπορούσε να χειριστεί μοντέλα μόνο ένα κλάσμα αυτού του μεγέθους.
Ποια είναι η βασική ιδέα εξοικονόμησης μνήμης πίσω από το τμήμα «4-bit» του QLoRA;
Το QLoRA αποθηκεύει τα παγωμένα προεκπαιδευμένα βάρη σε 4 bit ανά τιμή, μειώνοντας τη μνήμη περίπου τετραπλασιάζοντας σε σύγκριση με τα 16 bit.
Κατά τη διάρκεια της μικρορύθμισης του QLoRA, ποιες παράμετροι ενημερώνονται στην πραγματικότητα με gradient descent;
Το βασικό μοντέλο είναι παγωμένο. Μόνο οι πίνακες προσαρμογέων χαμηλής κατάταξης που έχουν εγχυθεί λαμβάνουν ενημερώσεις διαβάθμισης, οι οποίες είναι απλώς ένα μικρό κλάσμα παραμέτρων.
Τι είναι το NF4 στο πλαίσιο του QLoRA;
Το NF4 (NormalFloat 4-bit) είναι ένας τύπος δεδομένων που έχει σχεδιαστεί γύρω από την κατανομή καμπύλης καμπάνας των βαρών νευρωνικών δικτύων για καλύτερη ακρίβεια από τον απλό int4.
Ποιο πρόβλημα αντιμετωπίζουν οι "σελιδοποιημένοι βελτιστοποιητές" στο QLoRA;
Paged optimizers use NVIDIA unified memory to page optimizer states between GPU and CPU memory as needed; the QLoRA paper says this helps manage memory spikes and reduce out-of-memory risk during long-sequence fine-tuning.
Πότε μετατρέπονται τα βάρη των 4 bit σε μεγαλύτερη ακρίβεια κατά τη διάρκεια της προπόνησης;
During a matrix multiplication, quantized weights are dequantized on the fly to a higher-precision compute dtype (for example, BF16 or FP16 in QLoRA configurations); the temporary higher-precision values are not stored as a full base-model copy.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα