コンテキストに応じた検索

標準 RAG は、ドキュメントをチャンクに分割し、各チャンクを埋め込み、質問に最も類似したチャンクを取得します。問題は、ストリップのコンテキストを分割することです。 「会社の収益が 3% 増加した」という部分には、どの会社の、どの期間の部分が記載されていないため、セマンティック検索でもキーワード検索でも、企業名を示す質問と確実に一致させることはできません。 Anthropic は、2024 年 9 月にコンテキスト検索について説明しました。チャンクごとに、言語モデルにドキュメント全体とチャンクが与えられ、ドキュメント内のチャンクの位置を示す短いコンテキスト (通常は約 50 ～ 100 トークン) を記述するように求められます。そのコンテキストはチャンクの先頭に追加されます。結合されたテキストは、埋め込みインデックス (コンテキスト埋め込み) と BM25 キーワード インデックス (コンテキスト BM25) の 2 つのインデックスで使用されます。クエリ時に両方の結果が結合され、オプションでリランカーが上位候補を並べ替えます。 Anthropic が報告した複数のデータセットにわたる実験では、コンテキスト エンベディングとコンテキスト BM25 により、標準エンベディングと比較して上位 20 位の取得失敗率が約 49 パーセント減少し、再ランキングの追加により約 67 パーセントの減少が見られました。独自のデータの結果は異なる可能性があるため、測定する価値があります。コストはインデックス作成時に発生します。チャンクごとに 1 つのモデル呼び出しが発生し、それぞれに完全なドキュメントが含まれます。ドキュメントは一度キャッシュされ、そのすべてのチャンクで再利用されるため、プロンプト キャッシュを使用するとコストが大幅に下がります。避けるべき誤解: 追加されたコンテキストは取得に使用され、それをジェネレーターに表示するかどうかを選択できます。これは適切なチャンク化に代わるものではなく、モデルのコンテキスト ウィンドウに収まる小規模なナレッジ ベースの場合は、すべてを直接送信する方が、どの検索パイプラインよりも簡単になる可能性があります。