AI用語集の用語

フラッシュアテンションとは？

定義

最適化されたアテンション アルゴリズムにより、メモリの使用量が削減され、トランスフォーマーのトレーニングと推論が高速化されます。

AI 用語集の全文を閲覧するすべての無料 AI ガイドを確認する

関連用語

フィーチャーストアトレーニングと推論のために、検証された ML 機能を一貫して保存および提供するためのマネージド システム。バックプロパゲーションネットワークを通じて予測誤差を逆方向に伝播することによってモデルの重みを更新するコア トレーニング アルゴリズム。モデルの量子化モデルの重みの数値精度を下げて、メモリと推論のコストを削減します。変圧器注意を使用してシーケンス全体の関係を並行してモデル化するニューラル アーキテクチャ。トレーニングロストレーニング中に計算され、時間の経過とともに下方に最適化されたモデルの誤差値。マルチヘッドアテンション複数のアテンション操作を並行して実行して、さまざまなタイプの関係をキャプチャするトランスフォーマー メカニズム。

無料ガイドで詳細をご覧ください

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

こちらも参照

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop