什麼是 修剪?

一種注意模式，其中每個令牌僅關注附近令牌的固定大小視窗以減少計算。

一種經驗關係，顯示效能如何隨模型大小、資料或計算而提高。

經過訓練的較小模型可以模仿較大模型的行為，同時在推理時使用較少的計算。

核心訓練演算法透過網路向後傳播預測誤差來更新模型權重。

訓練和運行模型所需的處理資源，通常以 FLOPS 或 GPU 小時來衡量。

一個向量，顯示每個參數應改變多少以減少損失。