引導式測驗 · 中等 等級
模型量化測驗
應用量化儲存、縮放因子和準確性權衡,包括為什麼原始重量減少不能保證完整的模型擬合或速度。
問題 1 的 8
量化一個模型主要減少什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 量化一個模型主要減少什麼?
- 用於儲存權重和啟動的數值精度
- 網路的層數
- 建構模型所依據的訓練資料集
- 模型可以理解的語言
- Ignoring scale metadata and other runtime tensors, what is the weight-payload ratio from sixteen bits to four bits per weight?
- The payload is unchanged
- It is one hundredth of the original payload
- The four-bit payload is one quarter of the sixteen-bit payload
- The payload becomes four times larger
- 激進的低位量化的主要缺點是什麼?
- 模型忘記了它的訓練語言
- 由於值被壓縮到更少的桶中,因此可能會損失準確性
- 它只能在超級電腦上運行
- 它會永久刪除圖層
- 量化感知訓練與訓練後量化有何不同?
- 它根本不需要任何數據
- 它僅適用於圖像
- 它隨著時間的推移增加位數
- 它在訓練期間模擬舍入,以便模型學會容忍低精度
- 哪種技術使用 4 位元量化來在一個 GPU 上實現大型模型的微調?
- 輟學
- 批量歸一化
- 品質保證
- 代幣化
- 為什麼每通道或每組縮放有助於量化模型?
- 它將單獨的比例因子分配給權重矩陣的切片以保持精度
- 它消除了對任何重量的需要
- 它使模型更大
- 它將文字轉換為音頻
- A four-bit model’s raw weights fit in available VRAM, but serving fails out of memory. What could explain this?
- Every four-bit weight expands permanently to a gigabyte
- Quantization guarantees no runtime allocations
- Only the model’s filename consumes the remaining memory
- Caches, scales, unquantized tensors, or workspace need additional memory
- A team quantizes to INT8 but sees no inference speedup. What should it check?
- Whether the training data are alphabetized
- Whether the workload uses efficient supported kernels on its hardware
- Whether lower bit width always guarantees faster execution
- Whether the model must have changed languages