Boş Metin Ters Çevirme
Boş metni ters çevirme, gerçek bir fotoğrafı Stable Diffusion gibi metin odaklı bir yayılma modeliyle düzenlemenize ve değişmesini istemediğiniz her şeyi mükemmel bir şekilde değiştirmeden korumanıza olanak tanıyan bir tekniktir.
Genel Bakış
It bridges the gap between generating fresh images and faithfully reconstructing and re-editing ones you already have.
Derin Dalış
Gerçek bir görüntüyü bir yayılma modeliyle düzenlemek için, öncelikle onu yeniden yaratacak gürültüyü bulmak amacıyla üretim sürecini geriye doğru çalıştırmanız gerekir. DDIM ters çevirme adı verilen hızlı bir yöntem bunu yapar ancak sürüklenir, dolayısıyla yeniden yapılandırma biraz yanlış görünür. Metin uyarılarının görüntüyü ne kadar güçlü yönlendirdiğini artıran sınıflandırıcı içermeyen rehberlik, bu kaymayı kötü bir şekilde artırır. Google araştırmacıları tarafından 2022'de tanıtılan boş metni ters çevirme, modeli donmuş halde bırakarak ve bunun yerine kılavuzda kullanılan 'boş' (boş) metin yerleştirmeyi, gürültü giderme zaman adımı başına bir tane olmak üzere optimize ederek bu sorunu giderir. Bu, yeniden yapılanmayı orijinal görüntüye geri sabitler, böylece bir 'köpeği' 'kediye' dönüştürmek gibi daha sonraki hızlı düzenlemeler yalnızca amaçlanan içeriği değiştirir.
Teknik Bilgi
Sınıflandırıcıdan bağımsız rehberlik, koşullu bir tahmin (istemle) ile koşulsuz bir tahmin (boş istem yerleştirmeyle) arasında tahmin yapar. Boş metin ters çevirme, gerçek istemi ve ağırlıkları sabit tutar ve yaklaşık 50 yayılma adımının her birinde yalnızca boş yerleştirmeyi degradeyle optimize eder, böylece yönlendirilmiş yörünge önceden hesaplanmış DDIM yolunu izler. Sonuç, tam yönlendirme gücüne sahip, piksele yakın mükemmel yeniden yapılandırmadır ve istemin hassas düzenlemeleri gerçekleştirmesine izin verir.
Stratejik Etki
Speed and scale
Visual AI, inceleme, algılama ve etiketleme görevlerini geniş ölçekte otomatikleştirebilir.
Build choices
Yaratıcı ekipler, daha az manuel revizyonla konseptleri daha hızlı prototipleyebilir.
Ekip ve iş akışı
Operasyonlar, daha önce işlenmesi zor olan görüntü ve video sinyallerini kullanabilir.
Boş Metin Ters Çevirmenin Geleceği
Boş metin ters çevirme, görüntü başına optimizasyon yaptığı için yavaştı, bu nedenle yeni çalışmalar anında, optimizasyon gerektirmeyen ters çevirmeye doğru ilerliyor. Negatif İstemi Ters Çevirme, Doğrudan Ters Çevirme gibi yöntemler ve daha hızlı tutarlılık ve birkaç adımlı modeller üzerine kurulu yaklaşımlar, tek bir ileri geçişte aynı doğruluğu hedefler. Ters çevirmenin, tüketici fotoğraf editörlerinde sessiz, yerleşik bir adım haline gelmesini ve kullanıcının matematiği hiç görmeden güvenilir gerçek görüntü düzenlemesine olanak vermesini bekleyin.
Gerçek Dünya Uygulaması
Sokak, insanlar ve aydınlatmaya dokunulmadan park halindeki arabanın farklı bir renge dönüşmesi için gerçek bir tatil fotoğrafını düzenleme
Arka planı veya pozu değiştirmeden bir aile portresinde gerçek bir evcil hayvanın cinsini değiştirme
Bir manzara fotoğrafının mevsimini (yaz yapraklarından sonbahara) yalnızca istem sözcüğünü düzenleyerek değiştirme
Araştırma demoları ve düzenleme uygulamaları içindeki kullanıcı tarafından yüklenen görseller üzerinde "istemden-isteme" tarzı yerel düzenlemeleri güçlendirmek
Riskler ve Korkuluklar
Kaynağın belirsiz olması durumunda görüntü hakları ve rıza yasal risk haline gelebilir.
Model performansı aydınlatma, demografik özellikler ve ortamlara göre değişiklik gösterebilir.
Güven eşikleri izlenmediği sürece yanlış pozitifler fark edilmeyebilir.
Uygulama Yol Haritası
Kesinlik, geri çağırma ve hata maliyetlerine ilişkin kabul kriterlerini tanımlayın.
Gerçek üretim koşullarıyla eşleşen verilerle test edin.
Düşük güvenirliğe sahip veya yüksek etkili tahminler için gerçek kişi tarafından yapılan incelemeyi ekleyin.
Model kaymasını izleyin ve kamera veya veri kümesi değişikliklerinden sonra yeniden doğrulayın.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Null-Text Inversion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Video Yap Metinden Videoya
Sık sorulan sorular
What is Null-Text Inversion?
Boş metni ters çevirme, gerçek bir fotoğrafı Stable Diffusion gibi metin odaklı bir yayılma modeliyle düzenlemenize ve değişmesini istemediğiniz her şeyi mükemmel bir şekilde değiştirmeden korumanıza olanak tanıyan bir tekniktir. Yeni görüntüler oluşturmak ile halihazırda sahip olduklarınızı aslına sadık bir şekilde yeniden oluşturmak ve yeniden düzenlemek arasındaki boşluğu doldurur.
Boş metin ters çevirme gerçekte neyi optimize eder?
Modeli ve gerçek istemi dondurulmuş halde tutar ve yalnızca her zaman adımında hızlı ve tahribatsız olan koşulsuz/boş metin yerleştirmeyi optimize eder.
Düzenleme için kullanıldığında düz DDIM ters çevirme neden güvenilmez hale geliyor?
DDIM ters çevirme, küçük hataları biriktirir ve iyi düzenlemeler için gereken güçlü rehberlik, yeniden yapılanmayı bozarak bu sapmayı büyütür.
Gerçek bir görüntüyü düzenlemeden önce tersine çevirmenin ana amacı nedir?
Düzenleme, orijinali yeniden yapılandıracak bir gürültü tohumuna ve yörüngeye ihtiyaç duyar; dolayısıyla hızlı değişiklikler yalnızca amaçlanan içeriği değiştirir.
Boş metin ters çevirme, yayılma süreci boyunca optimizasyonu kabaca nasıl ele alıyor?
Her zaman adımı için ayrı bir boş metin yerleştirmesi ayarlanır, böylece kılavuzlu yol önceden hesaplanmış ters çevirme yörüngesini yakından takip eder.
Boş metni ters çevirme en çok hangi tür düzenleme yaklaşımıyla eşleştirilir?
Gerçek bir görüntü aslına uygun bir şekilde tersine çevrildiğinde, istemden isteme gibi istem odaklı yöntemler, hedefe yönelik, yerelleştirilmiş değişiklikler yapabilir.