NastępnyNastępny poradnik
Inżynieria sterowania i reprezentacji aktywacji
Techniczne
PRZEWODNIK techniczny
SmoothQuant i kwantyzacja aktywacyjna
SmoothQuant to technika umożliwiająca kompresję dużych modeli językowych do 8-bitowych liczb całkowitych zarówno dla wag, jak i aktywacji, bez konieczności ponownego uczenia.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
It matters because activations in big models contain extreme outliers that normally wreck low-precision math, and SmoothQuant tames them.
Głębokie nurkowanie
Kiedy zmniejszasz model z 16-bitowych liczb zmiennoprzecinkowych do 8-bitowych liczb całkowitych, wagi łatwo się kompresują, ale aktywacje są kłopotliwe: niektóre kanały przenoszą wartości od 10 do 100 razy większe niż pozostałe, a wciskanie ich w grubą siatkę liczb całkowitych niszczy dokładność. SmoothQuant, wprowadzony przez Xiao i in. w 2022 r. zauważa, że wagi są gładkie i łatwe do skwantowania, a aktywacje są kolczaste. W ten sposób matematycznie przenosi się trudność: dzieli kanały aktywacji według skali dla poszczególnych kanałów i mnoży odpowiadające im wagi przez tę samą skalę. Obie operacje anulują się, pozostawiając wynik modelu niezmieniony, ale teraz oba tensory znajdują się w przyjaznych zakresach. Rezultatem jest wnioskowanie W8A8 (8-bitowe wagi i aktywacje) z niemal zerową utratą dokładności i około 2-krotnym przyspieszeniem i oszczędnością pamięci.
Implementacja w świecie rzeczywistym
Obsługa LLM z parametrami 70B w W8A8 na mniejszej liczbie procesorów graficznych poprzez zmniejszenie o połowę kosztów pamięci i mnożenia macierzy
Włączanie wnioskowania INT8 na rdzeniach tensorowych NVIDIA Hopper/Blackwell, które natywnie przyspieszają 8-bitową matematykę na liczbach całkowitych
Wdrażanie modeli czatów na punktach końcowych w chmurze o ograniczonych kosztach, gdzie podwojenie przepustowości bezpośrednio obniża rachunek za token
Kompresowanie koderów transformatorowych na potrzeby mowy lub tłumaczenia na urządzeniu, gdzie 8-bitowe jądra działają szybciej i chłodniej
Przyszłość SmoothQuant i kwantyzacji aktywacyjnej
W firmie SmoothQuant ustalono, że wartości odstające dotyczące aktywacji można raczej migrować, a nie nieuniknić, i ta koncepcja leży obecnie u podstaw produkcyjnej obsługi INT8 i 8PR. Można się spodziewać, że wygładzanie będzie połączone z bardziej szczegółowymi schematami, takimi jak kwantyzacja na grupę, wyuczone skalowanie i 4-bitowe badania aktywacji (np. metody uwzględniające wartości odstające). W miarę dojrzewania sprzętu FP8 (Hopper, Blackwell), równoważenie w stylu wygładzania będzie nadal wprowadzane do potoków kompilatora i silnika wnioskowania, więc kwantyzacja pozostanie prawie bezpłatna.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Koszt i budżet. Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
- Jaśniejsze decyzje. Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
- Kontrola jakości. Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Uważaj na
- Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
- Koszty infrastruktury i utrzymania są często niedoszacowane.
- W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Kolejne kroki
- Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
- Test porównawczy w realistycznych warunkach obciążenia i danych.
- Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
- Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the SmoothQuant and Activation Quantization quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
What is SmoothQuant and Activation Quantization?
SmoothQuant to technika umożliwiająca kompresję dużych modeli językowych do 8-bitowych liczb całkowitych zarówno dla wag, jak i aktywacji, bez konieczności ponownego uczenia. Ma to znaczenie, ponieważ aktywacje w dużych modelach zawierają skrajne wartości odstające, które zwykle niszczą matematykę o niskiej precyzji, a SmoothQuant je oswaja.
Jaki problem rozwiązuje SmoothQuant w zakresie wnioskowania o niskiej precyzji?
SmoothQuant celuje w duże wartości odstające, które pojawiają się w niektórych kanałach aktywacji, co w przeciwnym razie niszczy dokładność, gdy aktywacje są kwantowane do 8 bitów.
W jaki sposób SmoothQuant ułatwia kwantyfikację aktywacji?
Dzieli kanały aktywacji według skali dla każdego kanału i mnoży pasujące wagi przez tę skalę, więc iloczyn pozostaje niezmieniony, ale oba tensory stają się łatwiejsze do skwantowania.
Co oznacza oznaczenie W8A8?
W8A8 oznacza 8-bitową kwantyzację zarówno dla wag (W), jak i aktywacji (A), reżim, który SmoothQuant umożliwia przy minimalnej utracie dokładności.
Dlaczego skalowanie SmoothQuant zasadniczo nie powoduje narzutu na czas wykonania?
Skale wygładzające są dołączane do wag poprzedniej warstwy lub operacji łączonej z wyprzedzeniem, więc podczas wnioskowania nie są wykonywane żadne dodatkowe obliczenia.
Jaką rolę odgrywa hiperparametr alfa w SmoothQuant?
Alfa (zwykle 0,5) równoważy współczynnik wygładzania, decydując, jaka część trudności kwantyzacji zostanie przeniesiona z aktywacji na wagi.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat