AI用語集の用語

とは何ですか フラッシュアテンション?

定義

最適化されたアテンション アルゴリズムにより、メモリの使用量が削減され、トランスフォーマーのトレーニングと推論が高速化されます。

関連用語

フィーチャーストア
トレーニングと推論のために、検証された ML 機能を一貫して保存および提供するためのマネージド システム。
バックプロパゲーション
ネットワークを通じて予測誤差を逆方向に伝播することによってモデルの重みを更新するコア トレーニング アルゴリズム。
モデルの量子化
モデルの重みの数値精度を下げて、メモリと推論のコストを削減します。
変圧器
注意を使用してシーケンス全体の関係を並行してモデル化するニューラル アーキテクチャ。
トレーニングロス
トレーニング中に計算され、時間の経過とともに下方に最適化されたモデルの誤差値。
マルチヘッドアテンション
複数のアテンション操作を並行して実行して、さまざまなタイプの関係をキャプチャするトランスフォーマー メカニズム。

無料ガイドで詳細をご覧ください

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

See also

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop
AI 用語集の全文を閲覧するすべての無料 AI ガイドを確認する