テクニカルガイド
ネガティブサンプリングとノイズ対比推定
ネガティブ サンプリングとノイズ対比推定 (NCE) は、コストのかかる完全なソフトマックスを計算することなく、モデルが膨大な語彙を学習できるようにするトリックです。
このガイドを聴くAIによるナレーション · ~2 min
概要
Instead of scoring every possible output, they teach the model to tell real (positive) examples from a handful of fake (negative) ones.
ディープダイブ
語彙に数十万の単語が含まれる場合、通常のソフトマックスではトレーニング ステップごとにすべての単語を正規化する必要があり、非常に遅すぎます。ノイズ対比推定は、問題をバイナリ分類として再構成します。ターゲットと、既知の分布から抽出されたいくつかの「ノイズ」サンプルが与えられた場合、真のサンプルとノイズを区別する方法を学習します。これにより、明示的な正規化を行わずに、暗黙的に必要な確率が回復されます。 word2vec のスキップグラム モデルによって普及したネガティブ サンプリングは、単純化されたものです。真 (単語、コンテキスト) ペアごとに、k 個のネガティブをサンプリングし、シグモイド目標を使用して、本物のペアに高いスコアを割り当て、偽のペアに低いスコアを割り当てるようにモデルをトレーニングします。どちらも高価なマルチクラス問題を多くの安価なバイナリ問題に変換し、大規模な埋め込みトレーニングを実用的にします。ノイズ分布 (多くの場合、ユニグラムの 3/4 乗) の選択は、品質に大きな影響を与えます。
現実世界の実装
完全なソフトマックスを使用せずに数十億のトークンから単語埋め込みを学習するネガティブサンプリングを使用した word2vec スキップグラム。
言語モデルは歴史的に NCE を使用して、数十万語の語彙を効率的にトレーニングしていました。
2 タワー埋め込みモデルをトレーニングするためにユーザーが操作しなかった「ネガティブ」アイテムをサンプリングする推奨および検索システム。
エンティティの関係を学習するために負のサンプルを使用したグラフおよびナレッジグラフの埋め込み (トリプルの先頭または末尾の破損など)。
ネガティブ サンプリングとノイズ対比推定の将来
核となるアイデア、つまりサンプリングされたネガティブな要素とポジティブな要素を対比させて学習するという考え方は、視覚、言語、推奨事項にわたる現代の自己教師あり対比表現学習を支えています。今後の作業は、ハードネガティブマイニング（ランダムなものではなく有益なネガティブを選択する）、偽ネガティブのバイアス除去、大規模なメモリバンクやバッチ内サンプリングを介してネガティブを安価にスケーリングすることに焦点を当てています。モデルが成長しても、検索や大規模なレコメンダーなど、出力スペースや候補セットが巨大な場合には、効率的にサンプリングされた目的が依然として不可欠です。
実践する
なぜそれが重要なのか
- 費用と予算. アーキテクチャの決定により、パフォーマンスと運用コストが何年にもわたって推進されます。
- より明確な判決. 技術教育は、チームが最新のスタックだけでなく、適切なスタックを選択するのに役立ちます。
- 品質管理. より良いエンジニアリングの選択により、本番環境での信頼性に関するインシデントが減少します。
気をつけてください
- 1 つのベンチマークを最適化すると、より広範なシステムの弱点が隠れる可能性があります。
- インフラストラクチャとメンテナンスのコストは過小評価されがちです。
- システムが複雑になるにつれて、セキュリティと可観測性のギャップが拡大する可能性があります。
次のステップ
- 実装前にレイテンシ、品質、コストの目標を定義します。
- 現実的な負荷とデータ条件でのベンチマーク。
- エラー、ドリフト、ユーザーへの影響を計測器で監視します。
- スケーリングの前に、ロールバックとインシデント対応のパスを準備します。
探検を続けましょう
無料ニュースレター
毎日のAIブリーフィングを受け取る
毎週平日の朝に英語で書かれた3つの検証済みAIストーリー。無料で永続的、広告なし。
毎週平日に1通のメール。ワンクリックで購読解除。住所を販売または共有しません。
自分自身をテストしてください
Take the Negative Sampling and Noise Contrastive Estimation quiz
すべての回答に即時フィードバック、合格後は検証可能なID付きの共有可能な証明書を取得。
無料AI教育をサポート。AI Understandingは501(c)(3)の非営利団体です — 広告なし、課金壁なし、常に。 寄付をする
よくある質問
What is Negative Sampling and Noise Contrastive Estimation?
ネガティブ サンプリングとノイズ対比推定 (NCE) は、コストのかかる完全なソフトマックスを計算することなく、モデルが膨大な語彙を学習できるようにするトリックです。考えられるすべての出力をスコアリングするのではなく、実際の (肯定的な) 例と少数の偽の (否定的な) 例を区別するようにモデルに教えます。
ネガティブ サンプリングと NCE は主にどのような問題を解決しますか?
どちらの方法も、トレーニングを安価な二値弁別として再構成することで、膨大な語彙の正規化を回避します。
ノイズ対比推定は学習タスクをどのように再構成するのでしょうか?
NCE は、実際のサンプルと既知のノイズ分布から抽出されたサンプルを区別するようにモデルをトレーニングします。
単語埋め込みを学習するためのネガティブ サンプリングを普及させたモデルはどれですか?
ネガティブ サンプリングは、word2vec のスキップグラム バリアントによって導入され、普及しました。
ネガティブ サンプリングは完全な NCE とどのように異なりますか?
ネガティブ サンプリングでは、正規化を削除し、確率的な正確性を優先して速度と適切な埋め込みを行うことにより、NCE を簡素化します。
ユニグラム分布の 3/4 乗からネガ値がサンプリングされることが多いのはなぜですか?
0.75 の指数により頻度分布が平滑化されるため、一般的な単語が優勢にならず、まれな単語も表示されます。