言語AIガイド
最大の限界関連性
最大周辺関連性 (MMR) は、結果の関連性と既に選択された結果との違いのバランスをとった再ランク付け方法です。
このガイドを聴くAIによるナレーション · ~2 min
概要
It matters because pure relevance ranking often returns near-duplicate passages that waste space in a RAG context window.
ディープダイブ
検索システムが純粋にクエリとの関連性によって文書をスコアリングする場合、上位の結果は重複することが多く、5 つの文章がすべて同じことを述べています。 1998 年に Carbonell と Goldstein によって導入された MMR は、結果を 1 つずつ選択することでこの問題を解決します。各ステップで、重み付けされたブレンドを最大化する候補が選択されます。ラムダにクエリとの関連性を掛け、すでに選択されているものとの最大類似度をマイナス (1 マイナス ラムダ) 掛けた値です。ラムダが 1 に近い場合は、純粋な関連性が優先されます。 0 に近い場合は多様性が優先されます。検索拡張生成では、MMR はさまざまなチャンクのセットをフェッチすることで一般的であるため、言語モデルは同じ事実が繰り返されるのではなく補完的な証拠を認識し、コンテキストを拡大することなくカバレッジを向上させます。
現実世界の実装
RAG チャットボットは MMR 取得を使用するため、その上位 5 つのチャンクは、同じ段落の 5 つの言い換えではなく、ポリシーのさまざまな側面をカバーします。
研究要約ツールは MMR を適用して重複を最小限に抑えるパッセージを選択し、より広範で繰り返しの少ない要約を作成します。
ニュース アグリゲーターは、10 社の報道機関が 1 つの電信記事を繰り返すのではなく、MMR を使用して記事をランク付けして、イベントのさまざまな報道を示します。
LangChain のベクター ストア リトリーバーは、返されるドキュメントを多様化するために、fetch_k および lambda_mult を使用して search_type='mmr' を公開します。
限界的関連性を最大限に高める未来
MMR は、LangChain や Chroma などのベクトル データベース クライアントの軽量のデフォルトのままであり、1 行の取得モードとして提供されます。将来のシステムでは、学習された多様性の目標、クラスターベースの選択、およびコサイン距離よりも意味論的に新規性を判断するクロスエンコーダーのリランカーと組み合わせることになることが増えています。コンテキスト ウィンドウが拡大するにつれて、重点はスペースの節約から真に補完的な証拠の厳選へと移り、生の容量が豊富な場合でも MMR のような多様性を意識した選択を適切に保つようになります。
実践する
なぜそれが重要なのか
- 速度とスケール. 言語ワークフローは、一貫性を犠牲にすることなく、より高速に移行できます。
- アクセスと到達範囲. 言語やコミュニケーション スタイルを超えてアクセスが拡張されます。
- より明確な判決. 自動化が繰り返しを処理する間、チームは判断により多くの時間を費やすことができます。
気をつけてください
- 幻覚のような事実が、レポート、サポート フロー、または研究結果に静かに組み込まれる可能性があります。
- 迅速な対応により、同様のリクエスト間で一貫性のない結果が生じる可能性があります。
- アクセス制御が弱いと、機密テキスト データが漏洩する可能性があります。
次のステップ
- 展開する前に、出力形式、トーン、品質基準を定義します。
- 正確さが重要な場合は常に、信頼できる情報源を使って地上対応を行ってください。
- 一か八かの成果物については人間によるレビュー チェックポイントを維持します。
- 失敗パターンを追跡し、プロンプトやワークフローを定期的に再トレーニングします。
探検を続けましょう
よくある質問
What is Maximum Marginal Relevance?
最大周辺関連性 (MMR) は、結果の関連性と既に選択された結果との違いのバランスをとった再ランク付け方法です。純粋な関連性ランキングでは、RAG コンテキスト ウィンドウ内のスペースを無駄にする重複に近い文章が返されることが多いため、これは重要です。
MMR が解決するために設計された主な問題は何ですか?
MMR は、新規性に報酬を与えることで、本質的に同じことを言う多数の結果を表面化する関連性のみのランキングの傾向に対処します。
MMR 式において、1 に近いラムダ値は何を強調しますか?
ラムダ重みの関連性。 1 に近い場合は関連性の用語が優勢ですが、0 に近い場合は多様性 (類似性が低い) の用語が優勢です。
MMR はどのように結果を選択しますか?
MMR は貪欲な反復手法です。各選択では、関連性からすでに選択されているアイテムとの最大の類似性を差し引いた値が最大化されます。
How can an embedding-based MMR implementation measure query relevance and document redundancy?
The general algorithm permits suitable similarity functions; cosine is a common choice for vector representations.
MMR が検索拡張生成 (RAG) で特に役立つのはなぜですか?
MMR は、取得したチャンクを多様化することで、同じ事実が繰り返されるのではなく、モデルがさまざまな証拠を認識できるようにし、カバレッジを向上させます。