分類子を使用しないガイダンス
分類子を使用しないガイダンスは、多様性を引き換えに、より強力な準拠性を得ることで、拡散モデルを実際にプロンプトに従わせる手法です。
概要
It is the single dial behind the 'guidance scale' slider in nearly every image generator.
ディープダイブ
初期の誘導拡散には、サンプルを目的のクラスに向けてプッシュするための別の分類器が必要でしたが、これは脆弱であり、追加のトレーニングが必要でした。 2022 年に Jonathan Ho 氏と Tim Salimans 氏によって提案された分類子なしのガイダンスは、その依存性を排除します。トレーニング中、モデルは一定の割合で条件付け (テキスト プロンプト) をランダムに削除するため、単一のネットワークで条件付き予測と無条件予測の両方を生成する方法を学習します。サンプリング時に、モデルをステップごとに 2 回 (プロンプトありで 1 回、プロンプトなしで 1 回) 実行し、無条件予測から条件付き予測に向けて外挿します。外挿の量はガイダンス スケールです。値が高いほど、プロンプトの遵守が強化され、飽和が強くなります。値が低いと、多様性は増しますが、マッチングは緩やかになります。
技術的な洞察
数学的には、ガイド付きノイズ予測は、無条件予測にガイダンス スケールを加え、条件付き予測と無条件予測の差を乗算したものになります。スケール 1 はガイダンスがないことを意味します。一般的な値は 5 ～ 9 です。スケールを非常に高くすると、プロンプトの特徴が増幅されますが、モデルが学習された分布から大きく外挿されるため、過飽和な色、きついコントラスト、アーティファクトが発生します。ノイズ除去ステップごとにおよそ 2 回の順方向パスがかかります。
戦略的影響
速度とスケール
Visual AI は、検査、検出、タグ付けタスクを大規模に自動化できます。
ビルドの選択
クリエイティブ チームは、手動での修正を減らし、より迅速にコンセプトのプロトタイプを作成できます。
チームとワークフロー
以前は処理が困難であった画像信号やビデオ信号を操作に使用できるようになります。
分類子を使用しないガイダンスの未来
研究者らは、動的なしきい値設定、ステップごとに強度を変更するガイダンス スケジュール、および再スケーリング トリックを通じて、過飽和にならずに即時遵守を維持するためのガイダンスを改良しています。蒸留されたモデルは、ガイダンスを単一パスに焼き込んで計算量を半分にします。また、新しい定式化では、無条件分岐をまったく必要としない摂動注意と自動ガイダンスを探索し、より低コストで鮮明で忠実な画像を目指しています。
現実世界の実装
安定した拡散または Midjourney の「CFG スケール」スライダーを調整して、プロンプトの精度と創造性のバランスをとる
プロンプトに記載されている特定のレンダリングが難しいオブジェクトをジェネレーターに強制的に含めるようにガイダンスを提起する
多くの設計オプションを検討する際に、ガイダンスを下げてより多様で過飽和の少ない出力を得る
制作パイプラインのガイダンス スケジュールを調整して、高精細レンダリングでの色焼けアーティファクトを軽減します。
リスクとガードレール
出所が不明瞭な場合、肖像権と同意が法的リスクとなる可能性があります。
モデルのパフォーマンスは、照明、人口統計、環境によって異なる場合があります。
信頼度のしきい値が監視されない限り、誤検知は気付かれない可能性があります。
実装ロードマップ
精度、再現率、エラーコストの許容基準を定義します。
実際の生産条件に一致するデータを使用してテストします。
信頼性の低い予測や影響の大きい予測については、人間によるレビューを追加します。
モデルのドリフトを追跡し、カメラまたはデータセットの変更後に再検証します。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Classifier-Free Guidance quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
単純ベイズ分類器
よくある質問
What is Classifier-Free Guidance?
分類子を使用しないガイダンスは、多様性を引き換えに、より強力な準拠性を得ることで、拡散モデルを実際にプロンプトに従わせる手法です。これは、ほぼすべての画像ジェネレーターの「ガイダンス スケール」スライダーの後ろにある 1 つのダイヤルです。
分類子を使用しない指導の主な目的は何ですか?
分類子を使用しないガイダンスは、無条件予測から条件付き予測に外挿することで、即時遵守を促進します。
モデルは分類子を使用しないガイダンスのために無条件の予測を行う方法をどのように学習するのでしょうか?
トレーニング中にプロンプトがランダムにドロップされる場合があるため、1 つのネットワークは条件付きと無条件の両方の動作を学習します。
指導規模を増やすと一般的に何が起こりますか?
ガイダンスを高くすると、より厳密な準拠とより強力な機能が強制されますが、それを押しすぎると、過飽和で粗く、アーティファクトが発生しやすい画像が発生します。
標準の分類器を使用しないガイダンスでは、ノイズ除去ステップごとにおよそ何回の前方パスが必要ですか?
モデルはプロンプト付きで 1 回実行され、プロンプトなしで 1 回実行され、予測が結合され、ステップごとに約 2 パスのコストがかかります。
分類子を使用しないガイダンスには、分類子ガイダンスと比べてどのような利点がありますか?
両方の予測に単一のネットワークを使用することで、以前の誘導拡散に必要だった脆弱な追加の分類子を回避します。