ビジュアルAIガイド
SDXL とカスケード拡散
SDXL は、Stability AI の高解像度のテキストから画像へのモデルであり、強力なベース ジェネレーターとリファイナーを組み合わせ、複数のモデルをカスケード拡散チェーンして低解像度から高解像度までの画像を構築します。
このガイドを聴くAIによるナレーション · ~2 min
概要
彼らは一緒に、最新のオープンソース画像ジェネレーターがどのようにしてフォトリアリスティックな品質を実現するのかを説明します。
ディープダイブ
SDXL (Stable Diffusion XL) は、約 35 億パラメータの拡散モデルで、1024x1024 の画像をネイティブに生成します。これは、元の 512x512 の Stable Diffusion を大幅に上回ります。 2 つのテキスト エンコーダー (OpenCLIP ViT-bigG および CLIP ViT-L) を使用して、より迅速な理解を深め、モデルがターゲットの解像度とフレームを認識できるようにサイズとクロップ コンディショニングを追加します。 SDXL は 2 段階のパイプラインとして出荷されます。ベース モデルが潜在イメージを生成し、次にオプションのリファイナー モデルが最終的なノイズ除去ステップで詳細を追加します。カスケード拡散は、この背後にあるより広範なアイデアです。1 つのモデルがすべてを行うのではなく、低解像度の画像を作成する小さなモデルと、それをアップスケールする超解像度の拡散モデルを連結し、それぞれがその段階に合わせてトレーニングされます。 Google の Imagen は、カスケード アプローチを普及させました。
現実世界の実装
別のアップスケーラーを使用せずに、テキスト プロンプトから 1024x1024 のマーケティング アートとコンセプト アートを直接生成
SDXL ベース プラス リファイナー パイプラインを使用して、製品モックアップの顔とテクスチャに鮮明なディテールを追加します
SDXL Turbo を実行してインタラクティブなデザイン ツールでほぼ瞬時に画像をプレビューする
カスタムの超解像度カスケードを構築して、低解像度のスケッチを高解像度のイラストに変換する
SDXL とカスケード拡散の将来
傾向としては、ステップ数が減り、より高速になり、アーキテクチャが統合される傾向にあります。 SDXL Turbo や潜在一貫性モデルなどの蒸留方法では、生成をすでに 1 ～ 4 ステップに削減しています。拡散トランス (Stable Diffusion 3 や FLUX など) は主に U-Net バックボーンを置き換えており、エンドツーエンドの高解像度生成により明示的なカスケードへの依存が減少しています。効率が向上し続けるにつれて、洗練化、より優れたテキスト レンダリング、リアルタイムのオンデバイス画像合成がより緊密に統合されることが期待されます。
実践する
なぜそれが重要なのか
- 速度とスケール. Visual AI は、検査、検出、タグ付けタスクを大規模に自動化できます。
- ビルドの選択. クリエイティブ チームは、手動での修正を減らし、より迅速にコンセプトのプロトタイプを作成できます。
- チームとワークフロー. 以前は処理が困難であった画像信号やビデオ信号を操作に使用できるようになります。
気をつけてください
- 出所が不明瞭な場合、肖像権と同意が法的リスクとなる可能性があります。
- モデルのパフォーマンスは、照明、人口統計、環境によって異なる場合があります。
- 信頼度のしきい値が監視されない限り、誤検知は気付かれない可能性があります。
次のステップ
- 精度、再現率、エラーコストの許容基準を定義します。
- 実際の生産条件に一致するデータを使用してテストします。
- 信頼性の低い予測や影響の大きい予測については、人間によるレビューを追加します。
- モデルのドリフトを追跡し、カメラまたはデータセットの変更後に再検証します。
探検を続けましょう
よくある質問
SDXL とカスケード拡散とは何ですか?
SDXL は、Stability AI の高解像度のテキストから画像へのモデルであり、強力なベース ジェネレーターとリファイナーを組み合わせ、複数のモデルをカスケード拡散チェーンして低解像度から高解像度までの画像を構築します。彼らは一緒に、最新のオープンソース画像ジェネレーターがどのようにしてフォトリアリスティックな品質を実現するのかを説明します。
元の Stable Diffusion と比較して、SDXL はどのようなネイティブ解像度で画像を生成しますか?
SDXL はネイティブで 1024x1024 の画像を生成します。これは、元の Stable Diffusion の 512x512 よりも 4 倍大きい領域です。
SDXL のリファイナー モデルの役割は何ですか?
リファイナーは、ベース モデルが潜在イメージを作成した後、細部を鮮明にするためにパイプラインの最後に適用される別個のエキスパート モデルです。
SDXL はテキスト エンコーダをいくつ使用しますか?
SDXL は、OpenCLIP ViT-bigG と CLIP ViT-L という 2 つのテキスト エンコーダを組み合わせて使用し、より豊かなプロンプト理解を実現します。
カスケード拡散の中心的な考え方は何ですか?
カスケード拡散は、それぞれが以前の低解像度出力に条件付けされた 1 つまたは複数の超解像度拡散モデルを備えた小さなベース ジェネレーターをチェーンします。
SDXL がピクセル上で直接ノイズを除去するのではなく、潜在空間でノイズを除去するのはなぜですか?
VAE は画像をより小さな潜在空間に圧縮するため、拡散プロセスはフル解像度の生ピクセルで処理するよりもはるかに安価です。