QLoRA i 4-bitowe dostrajanie
QLoRA to technika, która pozwala dostroić ogromny model językowy na pojedynczym konsumenckim procesorze graficznym poprzez przechowywanie zamrożonego modelu w zaledwie 4 bitach na wagę.
Przegląd
It made customizing 65B-parameter models possible on hardware that previously could only handle models a fraction of that size.
Głębokie nurkowanie
Zwykle dostrajanie dużego modelu oznacza ładowanie każdego ciężaru z 16-bitową precyzją i aktualizację ich wszystkich, co wymaga ogromnej ilości pamięci. QLoRA łączy w sobie dwie idee. Najpierw zamraża wstępnie wyszkolony model i kwantyzuje go do 4 bitów, zmniejszając pamięć mniej więcej czterokrotnie. Po drugie, wykorzystuje LoRA: zamiast aktualizować gigantyczne macierze wag, dodaje do nich maleńkie, dające się trenować macierze adapterów niskiego rzędu, dzięki czemu aktualizowanych jest tylko kilka milionów parametrów. 4-bitowa baza pozostaje stała, podczas gdy gradienty przepływają tylko przez małe adaptery. Wprowadzona w 2023 roku przez Dettmersa i współpracowników metoda QLoRA pokazała, że dostrojenie modelu 65B na jednym procesorze graficznym o pojemności 48 GB może dorównać jakości pełnego dostrajania 16-bitowego.
Wgląd techniczny
QLoRA wprowadziła trzy sztuczki. NF4 (4-bitowy NormalFloat) to typ danych zoptymalizowany pod kątem rozkładu wag neuronowych według krzywej dzwonowej, zapewniający lepszą dokładność niż zwykły int4. Podwójna kwantyzacja kompresuje same stałe kwantyzacji, oszczędzając dodatkową pamięć. Optymalizatory stronicowane wykorzystują zunifikowaną pamięć GPU-CPU do absorbowania skoków podczas długich sekwencji, zapobiegając awariom związanym z brakiem pamięci. Podczas przejścia do przodu i do tyłu wagi 4-bitowe są dekwantyzowane do wartości 16-bitowej dokładnie na czas w celu pomnożenia macierzy, a następnie odrzucane.
Wpływ strategiczny
Szybkość i skala
Przepływy pracy związane z językiem mogą przebiegać szybciej bez utraty spójności.
Dostęp i zasięg
Rozszerza dostęp w różnych językach i stylach komunikacji.
Jaśniejsze decyzje
Zespoły mogą spędzać więcej czasu na ocenie, podczas gdy automatyzacja radzi sobie z powtarzalnością.
Przyszłość QLoRA i dostrajanie 4-bitowe
Dostrajanie 4-bitowe stało się standardową praktyką, a badania zmierzają obecnie w kierunku jeszcze niższej precyzji, włączając reprezentacje 2-bitowe i 1-bitowe (trójskładnikowe). Nowsze schematy kwantyzacji, takie jak AWQ, GPTQ i HQQ, jeszcze bardziej poprawiają dokładność, podczas gdy techniki takie jak QA-LoRA mają na celu utrzymanie kwantyzacji modelu nawet po połączeniu adapterów. W miarę rozwoju modeli o otwartej wadze można spodziewać się narzędzi, które pozwolą hobbystom dostroić modele powyżej 70B na jednym procesorze graficznym do gier, aby stały się rutyną, demokratyzując dostosowywanie.
Implementacja w świecie rzeczywistym
Startup dostraja model 70B Llama na pojedynczym procesorze graficznym 48 GB, aby zbudować asystenta obsługi klienta posługującego się głosem własnej marki bez wynajmowania klastra serwerów.
Badacz posiadający jedną kartę konsumencką RTX 4090 w ciągu jednego dnia dostosowuje otwarty model do niszowego zbioru danych medycznych, w którym odpowiada na pytania.
Programista tworzy dziesiątki małych, wymiennych adapterów LoRA do różnych zadań, wszystkie współdzielą jeden 4-bitowy model podstawowy załadowany do pamięci.
Hobbysta dopasowuje model w swoich osobistych dziennikach czatów, aby naśladować określony styl pisania, korzystając z bezpłatnego sprzętu klasy Colab.
Zagrożenia i poręcze
Halucynacyjne fakty mogą po cichu trafiać do raportów, strumieni wsparcia lub wyników badań.
Szybka czułość może spowodować niespójne wyniki w przypadku podobnych żądań.
Wrażliwe dane tekstowe mogą zostać ujawnione, jeśli kontrola dostępu jest słaba.
Plan wdrożenia
Zdefiniuj format wyjściowy, ton i standardy jakości przed wdrożeniem.
Zawsze, gdy liczy się dokładność, korzystaj z zaufanych źródeł.
Utrzymuj punkt kontrolny weryfikacji ręcznej w przypadku wyników o wysokiej stawce.
Śledź wzorce niepowodzeń i regularnie powtarzaj monity lub przepływy pracy.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the QLoRA and 4-Bit Fine-Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Dostrajanie próbkowania odrzucenia
Często zadawane pytania
What is QLoRA and 4-Bit Fine-Tuning?
QLoRA to technika, która pozwala dostroić ogromny model językowy na pojedynczym konsumenckim procesorze graficznym poprzez przechowywanie zamrożonego modelu w zaledwie 4 bitach na wagę. Umożliwiło to dostosowywanie modeli o parametrach 65B na sprzęcie, który wcześniej mógł obsługiwać jedynie modele o ułamku tego rozmiaru.
Jaki jest główny pomysł oszczędzania pamięci stojący za „4-bitową” częścią QLoRA?
QLoRA przechowuje zamrożone, wstępnie wyszkolone wagi po 4 bity na wartość, zmniejszając pamięć mniej więcej czterokrotnie w porównaniu do 16-bitów.
Które parametry są faktycznie aktualizowane podczas dostrajania QLoRA w wyniku opadania gradientu?
Model podstawowy jest zamrożony; tylko wstrzyknięte matryce adapterów niskiej rangi otrzymują aktualizacje gradientu, co stanowi tylko niewielki ułamek parametrów.
Czym jest NF4 w kontekście QLoRA?
NF4 (4-bitowy NormalFloat) to typ danych zaprojektowany w oparciu o rozkład wag sieci neuronowych według krzywej dzwonowej, co zapewnia lepszą dokładność niż zwykły int4.
Jaki problem mają „optymalizatory stronicowane” w adresie QLoRA?
Optymalizatory stronicowane wykorzystują zunifikowaną pamięć GPU-CPU do absorbowania skoków pamięci, zapobiegając awariom spowodowanym brakiem pamięci podczas uczenia na długich danych wejściowych.
Kiedy podczas uczenia 4-bitowe wagi są konwertowane z powrotem na większą precyzję?
4-bitowe wagi są na bieżąco dekwantyzowane do 16-bitowej precyzji dla każdego mnożenia macierzy, a następnie kopia o większej precyzji jest wyrzucana, aby zaoszczędzić pamięć.