AI用語集の用語

RoPE (回転位置埋め込み)とは？

定義

クエリとキー ベクトルを回転して相対的なトークンの位置をエンコードする位置エンコード方式。

AI 用語集の全文を閲覧するすべての無料 AI ガイドを確認する

関連用語

位置エンコーディングトランスフォーマーがシーケンスの順序を区別できるように、トークンの埋め込みに情報が追加されました。アリビトークンの距離に基づいて注意スコアにペナルティを課す位置バイアス手法で、モデルがより長いコンテキストを推定するのに役立ちます。RAG フュージョン複数のクエリ バリアントを生成し、それぞれの結果を取得し、ランキングを融合する取得方法。ANN (近似最近傍)徹底的な比較を行わずにクエリに近いベクトルを検索し、正確性を犠牲にして速度を向上させるアルゴリズム。RAG (検索拡張生成)外部の知識を取得し、それを推論時の生成にフィードする方法。ヒューマンフィードバックからの強化学習 (RLHF)人間の好みの信号を使用してモデルの動作を形成するトレーニング方法。

無料ガイドで詳細をご覧ください

Audio Embeddings and Representation LearningSentence-BERT EmbeddingsX-Vector Speaker EmbeddingsHyDE Hypothetical Document Embeddings

こちらも参照

Multi-Head AttentionSliding Window AttentionFlash AttentionBPE (Byte Pair Encoding)QLoRASentencePieceDPO (Direct Preference Optimization)Tree of Thoughts