引導式測驗 · 硬 等級
1 位元和三元 BitNet 模型測驗
檢查三元權重、1.58 位元計算、低位矩陣運算、直通訓練和硬體權衡。
問題 1 的 8
為什麼 BitNet b1.58 被描述為每個權重使用大約 1.58 位元?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 為什麼 BitNet b1.58 被描述為每個權重使用大約 1.58 位元?
- 因為每個權重都有三個可能的值(-1、0、+1)並且 log2(3) 約為 1.58
- 因為它四捨五入為 2 位
- 因為它使用 1.58 GB 內存
- 因為1.58是1和2位的平均值
- 是什麼讓 BitNet 的矩陣運算比標準模型更便宜?
- 他們跳過注意力機制
- -1、0、+1 的權重將乘法轉換為加法和減法
- 他們使用的詞彙量較小
- 它們僅在 TPU 上運行
- BitNet 和普通訓練後量化之間的一個關鍵區別在於 BitNet:
- 僅在訓練完成後進行量化
- 根本無法訓練
- 使用低位權重從頭開始訓練
- 內部使用 32 位元權重
- 在訓練過程中,儘管量化步驟不可微,但 BitNet 如何更新權重?
- 它凍結了所有重量
- 它的訓練沒有梯度
- 它僅使用強化學習
- 它使用具有更高精度陰影權重的直通估計器
- 允許值 0(三進制,非純二進制)能帶來什麼額外好處?
- 內建稀疏性,因為可以跳過歸零權重
- 比浮點精度更高
- 更快的網路連線
- 詞彙量更大
- 實現 BitNet 全面效率提升的主要硬體挑戰是什麼?
- 世界上已經沒有 GPU 了
- 目前大多數晶片都針對浮點數學進行了最佳化,而不是僅針對加法三元運算
- 三元模型需要量子計算機
- 模型太小,無關緊要
- 如果 BitNet 權重為零,它對點積有何貢獻?
- 它將激活值乘以負一
- 它添加了全精度矩陣乘法
- 它貢獻為零,並且可能被合適的硬體跳過
- 它改變模型層數
- 為什麼 BitNet 訓練時保留更高精準度的影子權重?
- 僅使用全精度權重進行推理
- 儲存分詞器詞彙表
- 用精確梯度取代直通估計器
- 儘管進行低位前向量化,仍保持梯度更新的可訓練值