Test de cuantizare model

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. Cuantizarea unui model reduce în principal ce?
   • Precizia numerică folosită pentru stocarea greutăților și activărilor
   • Numărul de straturi din rețea
   • Setul de date de antrenament pe care a fost construit modelul
   • Limbajul pe care modelul îl poate înțelege
2. Ignoring scale metadata and other runtime tensors, what is the weight-payload ratio from sixteen bits to four bits per weight?
   • The payload is unchanged
   • It is one hundredth of the original payload
   • The four-bit payload is one quarter of the sixteen-bit payload
   • The payload becomes four times larger
3. Care este principalul dezavantaj al cuantizării agresive de biți scăzut?
   • Modelul își uită limbajul de antrenament
   • Pierderea potențială a preciziei, deoarece valorile sunt strânse în mai puține găleți
   • Poate rula doar pe supercomputere
   • Acesta șterge definitiv straturile
4. Cum diferă antrenamentul conștient de cuantizare de cuantizarea post-antrenament?
   • Nu necesită deloc date
   • Funcționează doar pe imagini
   • Crește numărul de biți în timp
   • Simulează rotunjirea în timpul antrenamentului, astfel încât modelul învață să tolereze precizia scăzută
5. Ce tehnică folosește cuantizarea pe 4 biți pentru a face reglarea fină a modelelor mari să fie accesibile pe un singur GPU?
   • Abandonul
   • Normalizarea loturilor
   • QLoRA
   • Tokenizare
6. De ce scalarea pe canal sau pe grup ajută modelele cuantificate?
   • Atribuie factori de scară separati la felii dintr-o matrice de greutate pentru a păstra precizia
   • Îndepărtează necesitatea oricăror greutăți
   • Face modelul mai mare
   • Acesta convertește textul în audio
7. A four-bit model’s raw weights fit in available VRAM, but serving fails out of memory. What could explain this?
   • Every four-bit weight expands permanently to a gigabyte
   • Quantization guarantees no runtime allocations
   • Only the model’s filename consumes the remaining memory
   • Caches, scales, unquantized tensors, or workspace need additional memory
8. A team quantizes to INT8 but sees no inference speedup. What should it check?
   • Whether the training data are alphabetized
   • Whether the workload uses efficient supported kernels on its hardware
   • Whether lower bit width always guarantees faster execution
   • Whether the model must have changed languages