とは何ですか グラデーション?

各更新ステップでパラメータがどの程度変更されるかを制御するトレーニング ハイパーパラメータ。

モデルのサイズ、データ、またはコンピューティングによってパフォーマンスがどのように向上するかを示す経験的な関係。

コンピューティングを削減するために、各トークンが近くのトークンの固定サイズのウィンドウのみに注目するアテンション パターン。

ジェネレーターとディスクリミネーターが相互にトレーニングする生成セットアップ。

トレーニング セットの外にある新しい未確認のデータに対してモデルがどの程度うまく機能するか。

誤差が少なくなる方向にパラメータを更新する最適化手法。