AI用語集の用語

とは何ですか アリビ?

定義

トークンの距離に基づいて注意スコアにペナルティを課す位置バイアス手法で、モデルがより長いコンテキストを推定するのに役立ちます。

関連用語

RoPE (回転位置埋め込み)
クエリとキー ベクトルを回転して相対的なトークンの位置をエンコードする位置エンコード方式。
位置エンコーディング
トランスフォーマーがシーケンスの順序を区別できるように、トークンの埋め込みに情報が追加されました。
スライディングウィンドウの注意
コンピューティングを削減するために、各トークンが近くのトークンの固定サイズのウィンドウのみに注目するアテンション パターン。
アルゴリズムのバイアス
歪んだデータ、仮定、またはモデリングの選択によって引き起こされるモデル出力の体系的な不公平。
注意メカニズム
出力を生成するときに、入力の関連部分に動的に焦点を当てるモデル コンポーネント。
バイアス
データまたはモデルの動作におけるエラーまたは不公平性の一貫したパターン。

無料ガイドで詳細をご覧ください

ALiBi Position Bias

See also

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)
AI 用語集の全文を閲覧するすべての無料 AI ガイドを確認する