検索用の埋め込みモデルの微調整

埋め込みモデルはテキストをベクトルに変換するため、意味的に類似したテキストは、通常はコサイン類似度によって測定される類似したベクトルを持つようになります。 RAG では、クエリとドキュメント チャンクの両方が埋め込まれ、最も近いチャンクが取得されます。一般的なモデルは、ブロードウェブと質問と回答のデータでトレーニングされます。これらはどこでもある程度うまく機能しますが、専門用語、社内製品名、ユーザーの質問方法とドキュメントの書き方とのギャップに苦戦する可能性があります。微調整により、3 つの形式のトレーニング データとのギャップが埋められます。ポジティブペアは、クエリとそれに答える文章です。バッチ内ネガティブでは、スコアを低くすべきものの例として、同じトレーニング バッチ内の他のパッセージが使用されます。厳密な否定文は、関連性があり、単語やトピックを共有しているように見えますが、質問には答えていない文章です。イージー ネガはベース モデルによってすでに分離されているため、ハード ネガは最も重要な細かい区別を教えます。優れたデータ ソースには、クリック数を含む検索ログ、記事にリンクされたサポート チケット、FAQ ページ、言語モデルによってドキュメントから生成された合成クエリなどが含まれます。合成データは便利ですが、生成された質問は文書の文言をコピーすることが多く、タスクが簡単になりすぎるため、フィルタリングする必要があります。よくある誤解は、微調整が不十分な検索に対する最初の修正であるということです。多くの場合、チャンク化を改善したり、ハイブリッド セットアップで BM25 などのキーワード検索を追加したり、リランカーを追加したりすると、少ない労力で大きな成果が得られます。微調整が最も価値があるのは、取得ギャップを測定し、少なくとも数千の高品質ペアを構築できるか、構築できる場合です。もう 1 つの落とし穴は偽陰性です。つまり、実際にクエリに応答するマイニングされたハード ネガティブです。モデルをトレーニングして押しのけると、品質が損なわれます。また、古いベクトルと新しいベクトルは比較できないため、埋め込みモデルを変更するにはドキュメント コレクション全体を再埋め込む必要があることにも注意してください。