マトリョーシカ表現の埋め込み
Matryoshka Representation Learning (MRL) は、最も重要な情報が最初の次元に詰め込まれるように埋め込みをトレーニングし、ほとんど損失なく長いベクトルを短いベクトルに切り詰めることができます。
概要
Like nested Russian dolls, one embedding contains many usable smaller embeddings.
ディープダイブ
Kusupati らによって 2022 年に導入された Matryoshka Representation Learning は、プレフィックス自体が高品質の埋め込みである単一の埋め込みを生成します。モデルは、すべて同じ重みを共有する複数のネストされた次元 (8、16、32、最大 2048 次元など) でのパフォーマンスを同時に最適化する複合損失を使用してトレーニングされます。初期の座標には最も粗く、最も識別可能な情報が含まれるため、最初の 64 または 256 の数値を切り出すだけで強力な結果が得られ、精度が重要な場合にのみ完全なベクトルを保存できます。これにより、適応的な展開が可能になります。つまり、安価な低次元ベクトルを高速なファーストパス検索に使用し、その後完全長ベクトルで再ランキングします。 OpenAI の text-embedding-3 モデルは、この技術に基づいて構築された寸法パラメータを公開することで MRL を普及させました。
技術的な洞察
トレーニングのコツは入れ子の損失です。選択されたプレフィックス長ごとに、モデルは先頭の次元のみを使用して独自の分類または対比損失を計算し、これらの損失が合計されます。勾配は、ネットワークをプッシュして、最も有用な信号をフロントロードします。推論時に、k 次元に切り捨てて再正規化すると有効な埋め込みが得られ、再トレーニングは必要ありません。これは、追加の計算やストレージを必要とする PCA やサイズごとに個別のモデルとは対照的です。
戦略的影響
速度とスケール
言語ワークフローは、一貫性を犠牲にすることなく、より高速に移行できます。
アクセスと到達範囲
言語やコミュニケーション スタイルを超えてアクセスが拡張されます。
より明確な判決
自動化が繰り返しを処理する間、チームは判断により多くの時間を費やすことができます。
マトリョーシカ表現の埋め込みの未来
Matryoshka 埋め込みは、再トレーニングせずにベクトル データベースのストレージと取得のコストを削減できるため、商用およびオープンな埋め込みモデルのデフォルト機能になりつつあります。極度の圧縮のための量子化 (Matryoshka とバイナリまたは int8 ベクトル) の緊密な統合、クエリごとの次元を選択する適応型検索パイプライン、およびストレージの負荷がさらに高まるマルチモーダルおよび画像埋め込みへの入れ子表現のアイデアの拡張が期待されます。
現実世界の実装
安価な大規模検索のために短い 256 次元ベクトルをベクトル データベースに保存し、完全なベクトルで上位ヒットを再ランキングする
OpenAI の text-embedding-3 'dimensions' パラメーターを使用して、新しいモデルを再トレーニングせずに埋め込みを縮小する
切り詰められた低メモリ埋め込みを備えた電話機でオンデバイス セマンティック検索を実行する
マトリョーシカの切り捨てとバイナリ量子化を組み合わせて、限られた RAM に数十億のベクトルを収める
リスクとガードレール
幻覚のような事実が、レポート、サポート フロー、または研究結果に静かに組み込まれる可能性があります。
迅速な対応により、同様のリクエスト間で一貫性のない結果が生じる可能性があります。
アクセス制御が弱いと、機密テキスト データが漏洩する可能性があります。
実装ロードマップ
展開する前に、出力形式、トーン、品質基準を定義します。
正確さが重要な場合は常に、信頼できる情報源を使って地上対応を行ってください。
一か八かの成果物については人間によるレビュー チェックポイントを維持します。
失敗パターンを追跡し、プロンプトやワークフローを定期的に再トレーニングします。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Matryoshka Representation Embeddings quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
オーディオの埋め込みと表現学習
よくある質問
What is Matryoshka Representation Embeddings?
Matryoshka Representation Learning (MRL) は、最も重要な情報が最初の次元に詰め込まれるように埋め込みをトレーニングし、ほとんど損失なく長いベクトルを短いベクトルに切り詰めることができます。ネストされたロシア人形のように、1 つのエンベディングには、使用可能な小さなエンベディングが多数含まれています。
マトリョーシカ埋め込みの中核となるプロパティは何ですか?
MRL は情報をフロントロードするため、短いプレフィックスに切り詰めても、ネストされた人形のような強力な埋め込みが得られます。
これを達成するためにマトリョーシカ モデルはどのようにトレーニングされるのでしょうか?
MRL は、複数のネストされたディメンションにわたる複合損失を一度に最適化するため、各プレフィックスが役立つことを学習します。
より小さな埋め込みを得るために推論時に何をしますか?
先頭の k 座標を切り取って正規化するだけです。追加のトレーニングやモデルは必要ありません。
「寸法」パラメーターを介して Matryoshka を普及させた商用埋め込みはどれですか?
OpenAI の text-embedding-3 モデルを使用すると、MRL に基づいて構築されたディメンション パラメーターを通じて埋め込みを短縮できます。
Matryoshka 埋め込みの主な実用的な利点は何ですか?
MRL は、安価な初回パス検索には短いベクトルを使用し、再ランキングには長いベクトルを使用することで、ストレージとコンピューティングのコストを削減します。