ヌルテキストの反転
ヌルテキスト反転は、変更を要求していないものはすべて完全にそのままの状態で、安定拡散などのテキスト駆動の拡散モデルを使用して実際の写真を編集できる技術です。
概要
It bridges the gap between generating fresh images and faithfully reconstructing and re-editing ones you already have.
ディープダイブ
拡散モデルを使用して実際の画像を編集するには、まず生成プロセスを逆方向に実行して、それを再作成するノイズを見つける必要があります。 DDIM 逆変換と呼ばれる高速な方法でこれを実行できますが、ドリフトが発生するため、再構築はわずかに間違っているように見えます。分類子を使用しないガイダンスは、テキスト プロンプトが画像を操作する強さを高めますが、そのドリフトをひどく増幅させます。 Google 研究者によって 2022 年に導入されたヌル テキスト反転は、モデルをフリーズしたままにし、代わりにガイダンスで使用される「ヌル」(空) テキスト埋め込みをノイズ除去タイムステップごとに 1 つ最適化することでこの問題を修正します。これにより、再構成が元の画像に固定されるため、「犬」を「猫」に変えるなど、後でプロンプト編集を行っても、意図した内容のみが変更されます。
技術的な洞察
分類子を使用しないガイダンスは、条件付き予測 (プロンプトあり) と無条件予測 (空のプロンプト埋め込みあり) の間を外挿します。ヌルテキスト反転は、実際のプロンプトと重みを固定したままにし、約 50 の拡散ステップのそれぞれで空の埋め込みのみを勾配最適化するため、ガイド付き軌道は事前に計算された DDIM パスを追跡します。その結果、完全なガイダンス強度を備えたほぼピクセル完璧な再構築が実現し、プロンプトを自由に使用して正確な編集を行うことができます。
戦略的影響
速度とスケール
Visual AI は、検査、検出、タグ付けタスクを大規模に自動化できます。
ビルドの選択
クリエイティブ チームは、手動での修正を減らし、より迅速にコンセプトのプロトタイプを作成できます。
チームとワークフロー
以前は処理が困難であった画像信号やビデオ信号を操作に使用できるようになります。
Null-Text 反転の将来
Null テキストの反転は、画像ごとに最適化されるため時間がかかりました。そのため、新しい作業では、最適化を必要としない瞬時の反転を目指しています。ネガティブプロンプト反転、ダイレクト反転などの手法、およびより高速な一貫性と数ステップのモデルに基づいて構築されたアプローチは、単一の順方向パスで同じ忠実度を目指すことを目的としています。反転は消費者向けフォトエディター内に静かに組み込まれたステップとなり、ユーザーが計算を見なくても信頼性の高い実画像編集が可能になることが期待されます。
現実世界の実装
実際の休暇の写真を編集して、道路、人々、照明はそのままに、駐車中の車を別の色に変える
背景やポーズを変更せずに、家族のポートレートで実際のペットの品種を交換する
プロンプトワードのみを編集して風景写真の季節を変える（夏の紅葉から秋へ）
研究デモや編集アプリ内でユーザーがアップロードした画像に対する「プロンプトツープロンプト」スタイルのローカル編集を強化
リスクとガードレール
出所が不明瞭な場合、肖像権と同意が法的リスクとなる可能性があります。
モデルのパフォーマンスは、照明、人口統計、環境によって異なる場合があります。
信頼度のしきい値が監視されない限り、誤検知は気付かれない可能性があります。
実装ロードマップ
精度、再現率、エラーコストの許容基準を定義します。
実際の生産条件に一致するデータを使用してテストします。
信頼性の低い予測や影響の大きい予測については、人間によるレビューを追加します。
モデルのドリフトを追跡し、カメラまたはデータセットの変更後に再検証します。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Null-Text Inversion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
Make-A-Video テキストからビデオへ
よくある質問
What is Null-Text Inversion?
ヌルテキスト反転は、変更を要求していないものはすべて完全にそのままの状態で、安定拡散などのテキスト駆動の拡散モデルを使用して実際の写真を編集できる技術です。新しい画像を生成することと、すでに持っている画像を忠実に再構築および再編集することの間のギャップを埋めます。
NULL テキスト反転は実際に何を最適化しますか?
モデルと実際のプロンプトをフリーズしたままにし、各タイムステップでの無条件/NULL テキストの埋め込みのみを最適化します。これは高速かつ非破壊的です。
単純な DDIM 反転を編集に使用すると信頼性が低くなるのはなぜですか?
DDIM 反転により小さなエラーが蓄積され、適切な編集に必要な強力なガイダンスによってそのドリフトが拡大し、再構成の品質が低下します。
実際の画像を編集する前に反転する主な目的は何ですか?
編集にはオリジナルを再構築するノイズ シードと軌跡が必要なので、プロンプト変更により意図したコンテンツのみが変更されます。
NULL テキスト反転は、拡散プロセス全体にわたる最適化をどのように処理するのでしょうか?
個別の null テキスト埋め込みはタイムステップごとに調整されるため、ガイド付きパスは事前計算された反転軌跡を厳密に追跡します。
ヌルテキスト反転は、どの種類の編集アプローチと組み合わせるのが最も一般的ですか?
実際のイメージが忠実に反転されると、プロンプト間のプロンプトなどのプロンプト駆動型の方法で、ターゲットを絞った局所的な変更を行うことができます。