ビジュアルAIガイド
条件付き GAN
条件付き GAN (cGAN) は、クラス ラベルやテキストなどの追加情報をジェネレーターとディスクリミネーターの両方にフィードすることで、通常の GAN を拡張します。
このガイドを聴くAIによるナレーション · ~2 min
概要
This lets you control what the network produces instead of getting random outputs.
ディープダイブ
標準的な GAN はランダムなノイズを画像に変換しますが、結果については何も言えません。 2014 年に Mirza と Osindero によって提案された条件付き GAN は、ラベル y での条件付け生成によってこの問題を解決します。両方のネットワークが y を受け取ります。ジェネレーターはノイズとラベルを組み合わせて一致する画像を生成し、ディスクリミネーターは画像が現実的でラベルと一致しているかどうかを判断します。 MNIST で数字ラベルを使用してトレーニングすると、「7」を具体的に要求できます。調整信号は、ワンホット クラス ベクトル、埋め込み、属性セット、または別のイメージにすることもできます。このステアリング生成の考え方は、テキストから画像へのシステムや画像から画像へのシステムを可能にする基盤です。
現実世界の実装
ランダムではなく、オンデマンドで特定の手書きの数字またはオブジェクト クラスを生成する
年齢、髪型、メガネ、表情などの属性を選択して顔を合成します
キャプションによって生成された画像が調整される、初期のテキストから画像へのパイプラインを強化する
クラスバランスの取れた合成データを作成して、トレーニング セット内で過小評価されているカテゴリを強化する
条件付き GAN の将来
条件付き生成がデフォルトで期待されるようになりました。ユーザーは、何を取得するかを指定したいと考えています。ラベル コンディショニングのアイデアは、安定拡散などの拡散モデルのクロスアテンションによるリッチ テキスト コンディショニングと、エッジ、深さ、ポーズを使用した ControlNet スタイルの空間コンディショニングに一般化されました。将来のシステムは、テキスト、スケッチ、オーディオ、および 3D 制約を混合する、これまで以上に柔軟でマルチモーダルな条件を受け入れると同時に、出力が命令のあらゆる部分をどのように忠実に尊重するかを向上させるでしょう。
実践する
なぜそれが重要なのか
- 速度とスケール. Visual AI は、検査、検出、タグ付けタスクを大規模に自動化できます。
- ビルドの選択. クリエイティブ チームは、手動での修正を減らし、より迅速にコンセプトのプロトタイプを作成できます。
- チームとワークフロー. 以前は処理が困難であった画像信号やビデオ信号を操作に使用できるようになります。
気をつけてください
- 出所が不明瞭な場合、肖像権と同意が法的リスクとなる可能性があります。
- モデルのパフォーマンスは、照明、人口統計、環境によって異なる場合があります。
- 信頼度のしきい値が監視されない限り、誤検知は気付かれない可能性があります。
次のステップ
- 精度、再現率、エラーコストの許容基準を定義します。
- 実際の生産条件に一致するデータを使用してテストします。
- 信頼性の低い予測や影響の大きい予測については、人間によるレビューを追加します。
- モデルのドリフトを追跡し、カメラまたはデータセットの変更後に再検証します。
探検を続けましょう
よくある質問
What is Conditional GANs?
条件付き GAN (cGAN) は、クラス ラベルやテキストなどの追加情報をジェネレーターとディスクリミネーターの両方にフィードすることで、通常の GAN を拡張します。これにより、ランダムな出力を取得するのではなく、ネットワークが生成するものを制御できます。
条件付き GAN と標準 GAN の主な違いは何ですか?
条件付き GAN では、ジェネレーターとディスクリミネーターの両方に条件付け信号 (ラベルなど) が追加されるため、何が生成されるかを指定できます。
ラベル付き数字でトレーニングされた cGAN では、プレーン GAN ではできなくて何ができるのでしょうか?
生成はラベルに基づいて条件付けされるため、ランダムな出力の代わりにジェネレーターに特定のクラスを要求できます。
cGAN 識別器は、画像が本物に見えるかどうか以外に何をチェックする必要があるでしょうか?
ディスクリミネーターは、条件に一致しないリアルに見える画像にペナルティを課し、ジェネレーターにラベルを尊重するよう強制します。
調整信号をジェネレーターに供給する一般的な方法はどれですか?
シンプルで一般的なアプローチは、ラベル (多くの場合、ワンホットまたはエンベディング) をジェネレーターのノイズ ベクトルに連結します。
条件付き GAN は、後のどの機能の基礎を築きましたか?
条件によるステアリング生成は、まさにテキストから画像へのシステムや画像から画像へのシステムが依存しているものです。