引導式測驗 · 硬 等級

1 位元和三元 BitNet 模型測驗

檢查三元權重、1.58 位元計算、低位矩陣運算、直通訓練和硬體權衡。

問題 1 的 8

為什麼 BitNet b1.58 被描述為每個權重使用大約 1.58 位元?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 為什麼 BitNet b1.58 被描述為每個權重使用大約 1.58 位元?
    • 因為每個權重都有三個可能的值(-1、0、+1)並且 log2(3) 約為 1.58
    • 因為它四捨五入為 2 位
    • 因為它使用 1.58 GB 內存
    • 因為1.58是1和2位的平均值
  2. 是什麼讓 BitNet 的矩陣運算比標準模型更便宜?
    • 他們跳過注意力機制
    • -1、0、+1 的權重將乘法轉換為加法和減法
    • 他們使用的詞彙量較小
    • 它們僅在 TPU 上運行
  3. BitNet 和普通訓練後量化之間的一個關鍵區別在於 BitNet:
    • 僅在訓練完成後進行量化
    • 根本無法訓練
    • 使用低位權重從頭開始訓練
    • 內部使用 32 位元權重
  4. 在訓練過程中,儘管量化步驟不可微,但 BitNet 如何更新權重?
    • 它凍結了所有重量
    • 它的訓練沒有梯度
    • 它僅使用強化學習
    • 它使用具有更高精度陰影權重的直通估計器
  5. 允許值 0(三進制,非純二進制)能帶來什麼額外好處?
    • 內建稀疏性,因為可以跳過歸零權重
    • 比浮點精度更高
    • 更快的網路連線
    • 詞彙量更大
  6. 實現 BitNet 全面效率提升的主要硬體挑戰是什麼?
    • 世界上已經沒有 GPU 了
    • 目前大多數晶片都針對浮點數學進行了最佳化,而不是僅針對加法三元運算
    • 三元模型需要量子計算機
    • 模型太小,無關緊要
  7. 如果 BitNet 權重為零,它對點積有何貢獻?
    • 它將激活值乘以負一
    • 它添加了全精度矩陣乘法
    • 它貢獻為零,並且可能被合適的硬體跳過
    • 它改變模型層數
  8. 為什麼 BitNet 訓練時保留更高精準度的影子權重?
    • 僅使用全精度權重進行推理
    • 儲存分詞器詞彙表
    • 用精確梯度取代直通估計器
    • 儘管進行低位前向量化,仍保持梯度更新的可訓練值