AI用語集の用語

注意メカニズムとは？

定義

出力を生成するときに、入力の関連部分に動的に焦点を当てるモデル コンポーネント。

AI 用語集の全文を閲覧するすべての無料 AI ガイドを確認する

関連用語

エンコーダ入力を潜在表現に変換するモデルのコンポーネント。マルチヘッドアテンション複数のアテンション操作を並行して実行して、さまざまなタイプの関係をキャプチャするトランスフォーマー メカニズム。アリビトークンの距離に基づいて注意スコアにペナルティを課す位置バイアス手法で、モデルがより長いコンテキストを推定するのに役立ちます。分類モデルが入力を 1 つ以上の事前定義されたカテゴリに割り当てるタスク。コンテキストウィンドウ言語モデルが一度に処理できる入力トークンの最大量。データドリフトモデルのパフォーマンスを低下させる可能性がある、時間の経過に伴う実世界の入力データの変化。

無料ガイドで詳細をご覧ください

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

こちらも参照

Artificial Intelligence (AI)Autonomous SystemAPI (Application Programming Interface)BackpropagationAnnotationBaseline ModelAlgorithmic TransparencyBenchmark