ビジュアルAIガイド
CycleGAN ペアのない変換
CycleGAN は、一致する前後のサンプルのペアを必要とせずに、2 つの視覚領域 (馬からシマウマ、写真から絵画など) の間で画像を変換することを学習します。
このガイドを聴くAIによるナレーション · ~2 min
概要
これは重要な点です。なぜなら、ペアリングされたトレーニングデータを収集することはしばしば不可能であり、CycleGANは複雑な実世界のデータセットに対してスタイル転送を解放してくれるからです。
ディープダイブ
2017 年に Zhu、Park、Isola、Efros によって導入された CycleGAN は、ペアのない画像間の変換に取り組んでいます。以前のほとんどの方法 (pix2pix など) では、写真とスケッチの同じシーンという正確なペアが必要でした。 CycleGAN は、2 つのジェネレーター (G はドメイン A を B に変換し、F は B を A に戻す) と、各ドメインの現実性を判断する 2 つの識別子を使用してその要件を取り除きます。画期的な点は、サイクルの一貫性の喪失です。馬の写真をシマウマに変換し、それを逆変換すると、元の馬を復元できるはずです。この制約により、ジェネレーターによる任意の出力の作成が停止され、意味のある内容を保持するマッピングが強制されます。夏の風景を冬に、モネの絵画を写真に、リンゴをオレンジに変えるのは有名ですが、これらはすべて無関係な 2 つの画像の山から学習したものです。
現実世界の実装
ペアの写真絵画の例を使用せずに、写真をモネ、ファン ゴッホ、またはセザンヌの絵画スタイルに変換する
映画やゲームのアセット作成のために夏の風景写真を冬景色に変換 (またはその逆)
ペアの患者スキャンが利用できない医学研究において、MRI スキャンを CT のような画像に変換する
自動運転車の知覚をトレーニングするために、合成運転シミュレーターの映像を写真のようにリアルに調整する
CycleGAN 不対翻訳の将来
CycleGAN の中核となるアイデアであるサイクルの一貫性は、GAN バックボーンをより鮮明で多様な出力を持つノイズ除去モデルに交換する拡散ベースの手法を含む、現代の不対変換作業にも生き続けています。研究者らは現在、医療画像への不対変換（スキャンモダリティの合成）、自動運転シミュレーションから現実への転送のためのドメイン適応、およびデータ拡張を適用しています。何が変更され、何が固定されるのかをより厳密に制御できることに加え、サイクル制約とテキスト条件付き拡散編集を組み合わせたハイブリッド アプローチが期待されます。
実践する
なぜそれが重要なのか
- 速度とスケール. Visual AI は、検査、検出、タグ付けタスクを大規模に自動化できます。
- ビルドの選択. クリエイティブ チームは、手動での修正を減らし、より迅速にコンセプトのプロトタイプを作成できます。
- チームとワークフロー. 以前は処理が困難であった画像信号やビデオ信号を操作に使用できるようになります。
気をつけてください
- 出所が不明瞭な場合、肖像権と同意が法的リスクとなる可能性があります。
- モデルのパフォーマンスは、照明、人口統計、環境によって異なる場合があります。
- 信頼度のしきい値が監視されない限り、誤検知は気付かれない可能性があります。
次のステップ
- 精度、再現率、エラーコストの許容基準を定義します。
- 実際の生産条件に一致するデータを使用してテストします。
- 信頼性の低い予測や影響の大きい予測については、人間によるレビューを追加します。
- モデルのドリフトを追跡し、カメラまたはデータセットの変更後に再検証します。
探検を続けましょう
よくある質問
CycleGANのペアリングなし翻訳とは何ですか?
CycleGAN は、前後の例のペアを一致させる必要なしに、2 つの視覚領域 (馬からシマウマ、写真から絵画など) の間で画像を変換することを学習します。ペアになったトレーニング データを収集することは多くの場合不可能であるため、これは重要です。CycleGAN は、乱雑な現実世界のデータセットのスタイル転送を可能にします。
pix2pix などの以前の方法では解決できなかった、CycleGAN が解決できる重要な問題は何ですか?
CycleGAN の主な貢献は、不対変換であり、正確なペアではなく、無関係な 2 つの画像コレクションからドメイン間のマッピングを学習します。
サイクル一貫性の損失により何が強制されるのでしょうか?
サイクルの一貫性とは、F(G(x)) が x に等しいことを意味します。つまり、シマウマに戻った馬は元の馬のように見えるはずです。
標準の CycleGAN はジェネレーターをいくつ使用しますか?
CycleGAN は、各変換方向 (A から B および B から A) に 1 つずつの 2 つのジェネレーターと 2 つのディスクリミネーターを使用します。
CycleGAN は通常どのような種類の識別子を使用しますか?
CycleGAN は、重複するパッチを本物か偽物かを判断する PatchGAN 識別器を使用し、局所的なリアリズムを促進します。
CycleGAN でアイデンティティの喪失が追加されることがあるのはなぜですか?
ID の損失により、画像がすでにターゲット ドメイン内にある場合に不必要な変更がペナルティされ、色と色合いの保持に役立ちます。