Quiz dotyczący kwantyzacji modelu

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Kwantyzacja modelu ogranicza głównie co?
   • Dokładność numeryczna używana do przechowywania wag i aktywacji
   • Liczba warstw w sieci
   • Zbiór danych szkoleniowych, na którym zbudowano model
   • Język, który model rozumie
2. Ignoring scale metadata and other runtime tensors, what is the weight-payload ratio from sixteen bits to four bits per weight?
   • The payload is unchanged
   • It is one hundredth of the original payload
   • The four-bit payload is one quarter of the sixteen-bit payload
   • The payload becomes four times larger
3. Jaka jest główna wada agresywnej kwantyzacji niskobitowej?
   • Model zapomina o swoim języku szkoleniowym
   • Potencjalna utrata dokładności w miarę ściskania wartości w mniejszej liczbie segmentów
   • Może działać tylko na superkomputerach
   • Trwale usuwa warstwy
4. Czym różni się trening uwzględniający kwantyzację od kwantyzacji po treningu?
   • Nie wymaga w ogóle żadnych danych
   • Działa tylko na obrazach
   • Z biegiem czasu zwiększa liczbę bitów
   • Symuluje zaokrąglanie podczas treningu, dzięki czemu model uczy się tolerować niską precyzję
5. Która technika wykorzystuje 4-bitową kwantyzację, aby dostrajanie dużych modeli było przystępne cenowo na jednym procesorze graficznym?
   • Rezygnacja
   • Normalizacja wsadowa
   • QLoRA
   • Tokenizacja
6. Dlaczego skalowanie na kanał lub na grupę pomaga w modelach skwantowanych?
   • Przypisuje oddzielne współczynniki skali do wycinków macierzy wag, aby zachować precyzję
   • Eliminuje potrzebę stosowania jakichkolwiek ciężarków
   • Dzięki temu model jest większy
   • Konwertuje tekst na dźwięk
7. A four-bit model’s raw weights fit in available VRAM, but serving fails out of memory. What could explain this?
   • Every four-bit weight expands permanently to a gigabyte
   • Quantization guarantees no runtime allocations
   • Only the model’s filename consumes the remaining memory
   • Caches, scales, unquantized tensors, or workspace need additional memory
8. A team quantizes to INT8 but sees no inference speedup. What should it check?
   • Whether the training data are alphabetized
   • Whether the workload uses efficient supported kernels on its hardware
   • Whether lower bit width always guarantees faster execution
   • Whether the model must have changed languages