スコアベースの生成モデル
スコアベースの生成モデルは、データ分布の勾配、つまりノイズの多いサンプルを実際のデータに近づける方向を学習することによってデータを作成します。
概要
This score-function view unifies diffusion models with stochastic differential equations and underpins many modern image generators.
ディープダイブ
スコアベースのモデルは、確率を直接モデル化する代わりに、スコア、つまり入力に対する対数確率密度の勾配を学習します。新しいデータを生成するには、どの方法でサンプルを微調整して可能性を高めるかを知るだけで十分です。 Yang Song と Stefano Ermon の 2019 年の研究では、ノイズ除去スコア マッチングを使用して多くのノイズ レベルにわたってこのスコアを推定するようにネットワークをトレーニングし、その後、ランジュバン ダイナミクスを使用してサンプルを生成しました。つまり、スコアに沿ってステップを繰り返し、少しのノイズを追加しました。彼らの 2021 年のスコア SDE 論文では、拡散モデルとスコアベースのモデルが、確率微分方程式で記述される同じ連続プロセスの 2 つの側面であることが示されました。重要なことは、すべての SDE には、同じ限界を共有する対応する決定論的な「確率フロー」ODE があり、正確な尤度と高速サンプリングが可能になるということです。
技術的な洞察
データがまばらな場合、クリーン データのスコアを直接推定することは困難であるため、モデルは複数のスケールでガウス ノイズによって摂動されたデータでトレーニングされます。ノイズ除去スコア マッチングにより、扱いやすいターゲットが得られます。ノイズが含まれた分布のスコアは、ノイズ方向をノイズ分散で割ったものに等しいため、ノイズの予測とスコアの予測は本質的に同じことです。サンプリングは、純粋なガウス ノイズから開始して逆時間 SDE (または同等の確率フロー ODE) を解きます。
戦略的影響
速度とスケール
Visual AI は、検査、検出、タグ付けタスクを大規模に自動化できます。
ビルドの選択
クリエイティブ チームは、手動での修正を減らし、より迅速にコンセプトのプロトタイプを作成できます。
チームとワークフロー
以前は処理が困難であった画像信号やビデオ信号を操作に使用できるようになります。
スコアベースの生成モデルの将来
スコア SDE フレームワークは、生成 AI の進歩の多くを支える理論エンジンです。より高速な数値ソルバー、より優れたノイズ スケジュール、確率フロー ODE により、ほぼリアルタイムの生成と正確な尤度評価が可能になります。同じスコア マッチングのアイデアは、画像を超えて音声、分子およびタンパク質の構造設計、点群、科学シミュレーションに広がりつつあり、一貫性とフロー マッチング モデルはこれらの連続時間基盤に直接構築され、生成を数ステップに縮小します。
現実世界の実装
ノイズ条件付きスコア ネットワーク (NCSN) は、ランジュバン ダイナミクスを介して学習されたスコア勾配に従ってフォトリアリスティックな顔を生成します。
加速 MRI などの医療画像再構成では、学習されたスコアがアンダーサンプリングされたスキャン データを埋める前に機能します。
創薬における分子およびタンパク質構造の生成、スコアベースの拡散による 3D 原子構成のモデリング。
拡散ベースのボコーダーのように、スコア モデルがクリーンな音声または音楽に向けてノイズを除去するオーディオ波形合成。
リスクとガードレール
出所が不明瞭な場合、肖像権と同意が法的リスクとなる可能性があります。
モデルのパフォーマンスは、照明、人口統計、環境によって異なる場合があります。
信頼度のしきい値が監視されない限り、誤検知は気付かれない可能性があります。
実装ロードマップ
精度、再現率、エラーコストの許容基準を定義します。
実際の生産条件に一致するデータを使用してテストします。
信頼性の低い予測や影響の大きい予測については、人間によるレビューを追加します。
モデルのドリフトを追跡し、カメラまたはデータセットの変更後に再検証します。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Score-Based Generative Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
エネルギーベースのモデル
よくある質問
What is Score-Based Generative Models?
スコアベースの生成モデルは、データ分布の勾配、つまりノイズの多いサンプルを実際のデータに近づける方向を学習することによってデータを作成します。このスコア関数ビューは、拡散モデルと確率微分方程式を統合し、多くの最新の画像ジェネレーターを支えています。
これらのモデルが学習する「スコア」とは正確には何でしょうか?
スコアは入力に対するログ データ密度の勾配であり、サンプルの尤度を高める方向を指します。
スコアベースのモデルが複数のスケールのノイズによって破損したデータでトレーニングされるのはなぜですか?
低密度領域では、真のスコアは十分に定義されていません。いくつかのノイズ レベルでデータを混乱させると、スコア マッチングがどこでも扱いやすくなります。
初期のスコアベースのモデルはデータの生成にどのサンプリング手順を使用しましたか?
ランジュバン ダイナミクスは、サンプルをスコアの方向に繰り返し移動させ、小さなノイズを注入し、ランダムなノイズを徐々に現実的なデータに変換します。
2021 年のスコアと SDE の論文はどのような主な関係を確立しましたか?
ソングら。一致する決定論的確率フロー ODE を使用した、確率微分方程式フレームワークの下での統一拡散モデルとスコアベース モデル。
ノイズの予測は、ノイズ除去スコア マッチングにおけるスコアの予測とどのように関係しますか?
ノイズ除去スコア マッチングでは、スコアが負のノイズをノイズ分散で割ったものに等しいことが示され、ノイズ予測とスコア予測は事実上同じ目的になります。