テクニカルガイド
InfoNCE と SimCLR の目的
InfoNCE は、埋め込み空間内で一致するペアをまとめ、不一致のペアを押し離すことをモデルに教える対照的な損失です。
このガイドを聴くAIによるナレーション · ~2 min
概要
SimCLR は、この損失を利用してラベルなしデータから強力な画像表現を学習する画期的なフレームワークであり、教師あり事前トレーニングに匹敵します。
ディープダイブ
InfoNCE (相互情報量のノイズ対比推定) は、クエリとその真陽性がクエリと多くの陰性よりも高い類似性スコアを持つようにエンコーダーをトレーニングします。これは本質的に、類似性スコアに対するソフトマックス クロス エントロピーです。アンカーの場合、ポジティブなものがネガティブなものに対して勝つ必要があります。 SimCLR (2020) は、これを画像に対して操作可能にしました。1 つの画像を取得し、2 つのランダムな拡張を適用してポジティブ ペアを作成し、両方を共有エンコーダーと投影ヘッドを通して実行し、正規化された温度スケールのクロス エントロピー (NT-Xent、InfoNCE の亜種) を使用することで、2 つの拡張ビューが引き付けられ、バッチ内の他のすべての画像がネガティブとして機能します。 SimCLR は、強力なデータ拡張、非線形投影ヘッド、大きなバッチ サイズ、および調整された温度を組み合わせることで、事前トレーニング中にラベルを付けずに、自己教師ありモデルが ImageNet 上の教師ありモデルと一致することを示しました。
現実世界の実装
SimCLR は、ラベルのない写真で画像エンコーダーを事前トレーニングし、分類のために小さなラベル付きセットで微調整します。
InfoNCE 対物レンズを使用して画像とそのキャプションを照合する CLIP により、ゼロショット画像分類が可能になります。
類似した画像が学習された埋め込み空間内に近接して配置される視覚的な検索/取得を構築します。
ラベルが不足しているが生データが豊富な医療画像または衛星画像の自己監視型事前トレーニング。
InfoNCE と SimCLR の将来の目標
対照的な目標は SimCLR をはるかに超えて広がります。CLIP は、モダリティ全体で InfoNCE を使用して画像とテキストを位置合わせし、同じ損失により音声、ビデオ、および検索モデルを推進します。現在、メモリ バンク (MoCo) を介した巨大なバッチと多くのネガへの依存を減らすか、明示的なネガを完全に削除する (BYOL、SimSiam、DINO) という研究が行われています。基礎モデルの主要なフロンティアとして、マルチモーダル アライメント (テキスト、画像、オーディオ) を使用して、コントラスト、蒸留、およびマスク モデリングの事前トレーニングを継続的にブレンドすることが期待されます。
実践する
なぜそれが重要なのか
- 費用と予算. アーキテクチャの決定により、パフォーマンスと運用コストが何年にもわたって推進されます。
- より明確な判決. 技術教育は、チームが最新のスタックだけでなく、適切なスタックを選択するのに役立ちます。
- 品質管理. より良いエンジニアリングの選択により、本番環境での信頼性に関するインシデントが減少します。
気をつけてください
- 1 つのベンチマークを最適化すると、より広範なシステムの弱点が隠れる可能性があります。
- インフラストラクチャとメンテナンスのコストは過小評価されがちです。
- システムが複雑になるにつれて、セキュリティと可観測性のギャップが拡大する可能性があります。
次のステップ
- 実装前にレイテンシ、品質、コストの目標を定義します。
- 現実的な負荷とデータ条件でのベンチマーク。
- エラー、ドリフト、ユーザーへの影響を計測器で監視します。
- スケーリングの前に、ロールバックとインシデント対応のパスを準備します。
探検を続けましょう
よくある質問
InfoNCE および SimCLR の目標とは何ですか?
InfoNCE は、埋め込み空間内で一致するペアをまとめ、不一致のペアを押し離すことをモデルに教える対照的な損失です。 SimCLR は、この損失を利用してラベルのないデータから強力な画像表現を学習する画期的なフレームワークであり、教師あり事前トレーニングに匹敵します。
InfoNCE の目標はモデルに何を行うよう促しますか?
InfoNCE は類似度に関するソフトマックスで、真陽性の場合は高い類似度、陰性の場合は低い類似度に報酬を与えます。
SimCLR では、ポジティブペアはどのように作成されますか?
SimCLR は、同じソース画像の 2 つの拡張ビューからポジティブ ペアを生成します。他の画像はネガとして機能します。
NT-Xent / InfoNCE において温度 τ はどのような役割を果たしますか?
ソフトマックスの前に類似度を τ で割ることで、損失がポジティブなものとハード ネガティブなものをどの程度明確に区別するかを制御します。
事前トレーニング後、SimCLR の投影ヘッドはどうなりますか?
SimCLR は、投影ヘッドの転送前の特徴がより良好であることを発見したため、事前トレーニング後にヘッドは捨てられます。
SimCLR が大きなバッチ サイズに依存したのはなぜですか?
SimCLR では、バッチ内の他の画像がネガとして機能するため、バッチが大きくなるとネガが多くなり、学習が強化されます。