とは何ですか 剪定?

コンピューティングを削減するために、各トークンが近くのトークンの固定サイズのウィンドウのみに注目するアテンション パターン。

モデルのサイズ、データ、またはコンピューティングによってパフォーマンスがどのように向上するかを示す経験的な関係。

推論時の計算量を減らしながら、より大きなモデルの動作を模倣するようにトレーニングされた小さなモデル。

ネットワークを通じて予測誤差を逆方向に伝播することによってモデルの重みを更新するコア トレーニング アルゴリズム。

モデルのトレーニングと実行に必要な処理リソース。多くの場合、FLOPS または GPU 時間で測定されます。

損失を減らすために各パラメータをどの程度変更する必要があるかを示すベクトル。