Gids-gekoppelde quiz · Middelmatig Niveau
Modelkwantiseringsquiz
Pas gekwantiseerde opslag, schaalfactoren en nauwkeurigheidsafwegingen toe, inclusief waarom ruwe gewichtsreducties geen volledige pasvorm of snelheid van het model garanderen.
Vraag 1 van 8
Quantizing a model mainly reduces what?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Quantizing a model mainly reduces what?
- De numerieke precisie die wordt gebruikt om gewichten en activeringen op te slaan
- Het aantal lagen in het netwerk
- De trainingsdataset waarop het model is gebouwd
- De taal die het model kan begrijpen
- Ignoring scale metadata and other runtime tensors, what is the weight-payload ratio from sixteen bits to four bits per weight?
- The payload is unchanged
- It is one hundredth of the original payload
- The four-bit payload is one quarter of the sixteen-bit payload
- The payload becomes four times larger
- Wat is het belangrijkste nadeel van agressieve kwantisering met lage bits?
- Het model vergeet zijn trainingstaal
- Potentieel verlies aan nauwkeurigheid omdat waarden in minder emmers worden geperst
- Het kan alleen op supercomputers draaien
- Het verwijdert lagen permanent
- Hoe verschilt kwantiseringsbewuste training van kwantisering na de training?
- Er zijn helemaal geen gegevens nodig
- Het werkt alleen op afbeeldingen
- Het verhoogt het aantal bits in de loop van de tijd
- Het simuleert afronding tijdens de training, zodat het model leert lage precisie te tolereren
- Welke techniek maakt gebruik van 4-bit kwantisering om het afstemmen van grote modellen betaalbaar te maken op één GPU?
- Uitval
- Batch-normalisatie
- QLoRA
- Tokenisatie
- Waarom helpt schaalvergroting per kanaal of per groep bij gekwantiseerde modellen?
- Het wijst afzonderlijke schaalfactoren toe aan segmenten van een gewichtsmatrix om de precisie te behouden
- Het elimineert de noodzaak van eventuele gewichten
- Het maakt het model groter
- Het zet tekst om in audio
- A four-bit model’s raw weights fit in available VRAM, but serving fails out of memory. What could explain this?
- Every four-bit weight expands permanently to a gigabyte
- Quantization guarantees no runtime allocations
- Only the model’s filename consumes the remaining memory
- Caches, scales, unquantized tensors, or workspace need additional memory
- A team quantizes to INT8 but sees no inference speedup. What should it check?
- Whether the training data are alphabetized
- Whether the workload uses efficient supported kernels on its hardware
- Whether lower bit width always guarantees faster execution
- Whether the model must have changed languages