引導式測驗 · 中等 等級

模型量化測驗

應用量化儲存、縮放因子和準確性權衡,包括為什麼原始重量減少不能保證完整的模型擬合或速度。

相關引導路徑模型量化
問題 1 的 8

量化一個模型主要減少什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 量化一個模型主要減少什麼?
    • 用於儲存權重和啟動的數值精度
    • 網路的層數
    • 建構模型所依據的訓練資料集
    • 模型可以理解的語言
  2. Ignoring scale metadata and other runtime tensors, what is the weight-payload ratio from sixteen bits to four bits per weight?
    • The payload is unchanged
    • It is one hundredth of the original payload
    • The four-bit payload is one quarter of the sixteen-bit payload
    • The payload becomes four times larger
  3. 激進的低位量化的主要缺點是什麼?
    • 模型忘記了它的訓練語言
    • 由於值被壓縮到更少的桶中,因此可能會損失準確性
    • 它只能在超級電腦上運行
    • 它會永久刪除圖層
  4. 量化感知訓練與訓練後量化有何不同?
    • 它根本不需要任何數據
    • 它僅適用於圖像
    • 它隨著時間的推移增加位數
    • 它在訓練期間模擬舍入,以便模型學會容忍低精度
  5. 哪種技術使用 4 位元量化來在一個 GPU 上實現大型模型的微調?
    • 輟學
    • 批量歸一化
    • 品質保證
    • 代幣化
  6. 為什麼每通道或每組縮放有助於量化模型?
    • 它將單獨的比例因子分配給權重矩陣的切片以保持精度
    • 它消除了對任何重量的需要
    • 它使模型更大
    • 它將文字轉換為音頻
  7. A four-bit model’s raw weights fit in available VRAM, but serving fails out of memory. What could explain this?
    • Every four-bit weight expands permanently to a gigabyte
    • Quantization guarantees no runtime allocations
    • Only the model’s filename consumes the remaining memory
    • Caches, scales, unquantized tensors, or workspace need additional memory
  8. A team quantizes to INT8 but sees no inference speedup. What should it check?
    • Whether the training data are alphabetized
    • Whether the workload uses efficient supported kernels on its hardware
    • Whether lower bit width always guarantees faster execution
    • Whether the model must have changed languages