Kwantyzacja
Kwantyzacja zmniejsza model sztucznej inteligencji, przechowując jego liczby z mniejszą precyzją, więc model wymagający procesora graficznego dla centrum danych może czasami działać na laptopie lub telefonie.
Przegląd
It is the main trick that makes large language models cheap and fast enough to deploy widely.
Głębokie nurkowanie
Sieć neuronowa to w większości gigantyczny stos liczb zwanych wagami, zwykle przechowywanych jako 16- lub 32-bitowe wartości zmiennoprzecinkowe. Kwantyzacja przywraca te wagi przy użyciu mniejszej liczby bitów, zwykle 8-bitowych (INT8) lub nawet 4-bitowych liczb całkowitych. Przejście z wersji 16-bitowej na 4-bitową zmniejsza pamięć mniej więcej czterokrotnie, więc model z 70 miliardami parametrów, który potrzebuje około 140 GB w wersji 16-bitowej, zmieści się w około 35 GB w wersji 4-bitowej. Mniejsze liczby również szybciej przechodzą przez pamięć, co zwykle przyspiesza generowanie. Haczyk polega na dokładności: zamknięcie szerokiego zakresu wartości na kilku poziomach wprowadza błąd zaokrąglenia. Dobre metody minimalizują tę stratę, starannie dobierając współczynniki skalowania i chroniąc najbardziej wrażliwe wagi, dzięki czemu model zachowuje się niemal identycznie przy użyciu ułamka zasobów.
Wgląd techniczny
Każda grupa wag otrzymuje współczynnik skali, który odwzorowuje wartości rzeczywiste na mały zbiór liczb całkowitych; pomnożenie przez skalę w przybliżeniu rekonstruuje pierwotną liczbę. Metody kwantyzacji potreningowej, takie jak GPTQ i AWQ, analizują mały zestaw danych kalibracyjnych, aby zdecydować, które wagi mają największe znaczenie i ustawić skale tak, aby zminimalizować błąd wyjściowy, zamiast zaokrąglać wszystko na ślepo. Aktywacje są często utrzymywane z większą precyzją, ponieważ różnią się bardziej w czasie wykonywania. Rezultatem jest model, który przechowuje 4-bitowe liczby całkowite, ale oblicza wyniki bardzo zbliżone do wersji o pełnej precyzji.
Wpływ strategiczny
Szybkość i skala
Przepływy pracy związane z językiem mogą przebiegać szybciej bez utraty spójności.
Dostęp i zasięg
Rozszerza dostęp w różnych językach i stylach komunikacji.
Jaśniejsze decyzje
Zespoły mogą spędzać więcej czasu na ocenie, podczas gdy automatyzacja radzi sobie z powtarzalnością.
Przyszłość kwantyzacji
Oczekuj, że kwantyzacja stanie się ustawieniem domyślnym, a nie optymalizacją. Dostawcy sprzętu dodają natywną obsługę 4-bitów, a nawet niższych bitów, oraz techniki takie jak szkolenie uwzględniające kwantyzację, od początku wprowadzające tolerancję do modelu w celu uzyskania niskiej precyzji, co jeszcze bardziej zmniejsza utratę dokładności. Trwają badania nad reprezentacjami 2-bitowymi i 1-bitowymi (binarnymi), których celem jest uruchomienie odpowiednich modeli na telefonach i chipach wbudowanych. W miarę rozwoju sztucznej inteligencji na urządzeniach i w trybie prywatnym, wydajne modele skwantowane będą miały kluczowe znaczenie dla lokalnego uruchamiania asystentów bez wysyłania danych do chmury.
Implementacja w świecie rzeczywistym
Uruchamianie modelu czatu, takiego jak Llama, lokalnie na konsumenckim procesorze graficznym przy użyciu 4-bitowych plików GGUF lub GPTQ, zamiast konieczności stosowania wielu kart centrum danych.
Asystenci na urządzeniach w telefonach, w których modele 8-bitowe i 4-bitowe umożliwiają działanie funkcji mowy i tekstu bez połączenia sieciowego.
Obniż koszty wnioskowania w chmurze dla bota obsługi klienta, obsługując model INT8, dopasowując więcej żądań do każdego procesora graficznego.
Urządzenia brzegowe, takie jak inteligentne kamery lub czujniki IoT, obsługujące kompaktowe, skwantowane modele języka wizyjnego w ramach ograniczonych zasobów pamięci.
Zagrożenia i poręcze
Halucynacyjne fakty mogą po cichu trafiać do raportów, strumieni wsparcia lub wyników badań.
Szybka czułość może spowodować niespójne wyniki w przypadku podobnych żądań.
Wrażliwe dane tekstowe mogą zostać ujawnione, jeśli kontrola dostępu jest słaba.
Plan wdrożenia
Zdefiniuj format wyjściowy, ton i standardy jakości przed wdrożeniem.
Zawsze, gdy liczy się dokładność, korzystaj z zaufanych źródeł.
Utrzymuj punkt kontrolny weryfikacji ręcznej w przypadku wyników o wysokiej stawce.
Śledź wzorce niepowodzeń i regularnie powtarzaj monity lub przepływy pracy.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Quantization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Kwantyzacja wektorów resztkowych
Często zadawane pytania
What is Quantization?
Kwantyzacja zmniejsza model sztucznej inteligencji, przechowując jego liczby z mniejszą precyzją, więc model wymagający procesora graficznego dla centrum danych może czasami działać na laptopie lub telefonie. Jest to główna sztuczka, która sprawia, że duże modele językowe są tanie i wystarczająco szybkie, aby można je było szeroko wdrożyć.
Co przede wszystkim zmienia kwantyzacja w sieci neuronowej?
Kwantyzacja przywraca wagi modelu przy niższej precyzji numerycznej, takiej jak 8-bitowe lub 4-bitowe liczby całkowite zamiast 16- lub 32-bitowych liczb zmiennoprzecinkowych.
Mniej więcej, ile pamięci można zaoszczędzić, przesuwając wagi z wersji 16-bitowej na 4-bitową?
4 bity to jedna czwarta 16 bitów, więc waga pamięci spada do około jednej czwartej, co stanowi około 4-krotną redukcję.
Jaka jest główna wada agresywnej kwantyzacji?
Reprezentowanie wartości z mniejszą liczbą poziomów wprowadza błąd zaokrąglania, który może pogorszyć jakość wydruku, jeśli nie jest zarządzany ostrożnie.
Do czego metody takie jak GPTQ i AWQ wykorzystują mały zbiór danych kalibracyjnych?
Te metody potreningowe analizują kilka przykładowych danych wejściowych, aby ustawić współczynniki skalowania i chronić wrażliwe wagi, utrzymując wyniki zbliżone do oryginału.
Dlaczego kwantyzacja często sprawia, że model jest szybszy, a nie tylko mniejszy?
Wartości o niższej precyzji wymagają mniejszej przepustowości pamięci do załadowania i przeniesienia, co często stanowi wąskie gardło podczas generowania, więc wnioskowanie przyspiesza.