ESRGAN ve GAN Süper Çözünürlük
ESRGAN, bulanık enterpolasyonun ötesine geçerek görüntüleri yükseltirken gerçekçi ayrıntılar icat etmek için oluşturucuya karşı ayırıcı yarışmasını kullanıyor.
Genel Bakış
It matters because it set the template for photo-realistic super-resolution that still influences tools today.
Derin Dalış
2018'de tanıtılan ESRGAN (Gelişmiş Süper Çözünürlük Üretken Rekabet Ağı), önceki SRGAN'a göre geliştirildi. Yazarların artefaktlara neden olduğunu tespit ettiği, toplu normalizasyon olmadan birçok yoğun bağlantıyı istifleyen Artık Yoğun Bloklardan (RRDB) oluşturulmuş bir jeneratör kullanıyor. Ayrı bir ayırıcı ağ, gerçek yüksek çözünürlüklü fotoğrafları oluşturulan fotoğraflardan ayırmaya çalışarak jeneratörü saç, tuğla ve yapraklar gibi ikna edici dokuları halüsinasyona uğratmaya zorlar. ESRGAN üç kaybı birleştirir: piksel bazında içerik kaybı, etkinleştirmeden önce VGG özellik haritalarında ölçülen algısal kayıp ve rakip kaybı. Ayrıca, gerçek görüntülerin sahte olanlardan daha gerçekçi görünüp görünmediğine karar veren ve eğitimi keskinleştiren 'göreceli' bir ayırıcıyı da tanıttı. ESRGAN, 2018 PIRM algısal süper çözünürlük yarışmasını kazandı.
Teknik Bilgi
Ana fikir, algısal gerçekçilik için piksel doğruluğunu değiştirmektir. Makul dokular üzerinde MSE ortalaması gibi piksel kayıpları, düzgün, bulanık çıktılar sağlar. Rakip kayıp bunun yerine çıktıyı gerçek görünümlü görüntülerin manifolduna zorlar, böylece oluşturucu tek bir keskin, makul dokuya bağlı kalır. ESRGAN'ın göreli ortalama ayırıcısı, gerçek bir yamanın, standart bir ayırıcıya göre daha fazla gradyan bilgisi aktaran ve daha keskin kenarlar üreten sahte bir yamadan ne kadar daha gerçekçi olduğunu tahmin eder.
Stratejik Etki
Speed and scale
Visual AI, inceleme, algılama ve etiketleme görevlerini geniş ölçekte otomatikleştirebilir.
Build choices
Yaratıcı ekipler, daha az manuel revizyonla konseptleri daha hızlı prototipleyebilir.
Ekip ve iş akışı
Operasyonlar, daha önce işlenmesi zor olan görüntü ve video sinyallerini kullanabilir.
ESRGAN ve GAN Süper Çözünürlüğünün Geleceği
Saf GAN süper çözünürlüğü, daha istikrarlı eğitim ve daha hassas kontrol sunan transformatör omurgaları ve difüzyon tabanlı yükselticilerle giderek daha fazla harmanlanıyor veya bunların yerini alıyor. Yine de ESRGAN'ın RRDB oluşturucusu ve algısal artı düşmanlık tarifi, sayısız oyun dokusu modu ve fotoğraf aracına yerleştirilmiş güçlü, hafif bir temel olmaya devam ediyor. Difüzyonun çeşitliliğini ve transformatörlerin uzun menzilli bağlamını ödünç alırken GAN keskinliğini koruyan ve gerçek zamanlı yükseltme için daha sıkı cihaz içi dağıtım sağlayan hibrit modeller bekleyin.
Gerçek Dünya Uygulaması
Video oyunu modlarındaki düşük çözünürlüklü dokuların ölçeklendirilmesi (eski PC oyunları için 'AI Upscale' modlama topluluğunda popülerdir)
Eski aile fotoğraflarını veya taranmış görüntüleri daha büyük boyutlarda yazdırmadan önce iyileştirme
Düşük çözünürlüklü arşiv veya gözetleme görüntülerinden alınan fotoğrafların iyileştirilmesi
Küçük referans görüntülerinden çalışan 3 boyutlu sanatçılar için yüksek çözünürlüklü doku haritaları oluşturma
Riskler ve Korkuluklar
Kaynağın belirsiz olması durumunda görüntü hakları ve rıza yasal risk haline gelebilir.
Model performansı aydınlatma, demografik özellikler ve ortamlara göre değişiklik gösterebilir.
Güven eşikleri izlenmediği sürece yanlış pozitifler fark edilmeyebilir.
Uygulama Yol Haritası
Kesinlik, geri çağırma ve hata maliyetlerine ilişkin kabul kriterlerini tanımlayın.
Gerçek üretim koşullarıyla eşleşen verilerle test edin.
Düşük güvenirliğe sahip veya yüksek etkili tahminler için gerçek kişi tarafından yapılan incelemeyi ekleyin.
Model kaymasını izleyin ve kamera veya veri kümesi değişikliklerinden sonra yeniden doğrulayın.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ESRGAN and GAN Super-Resolution quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Görüntü Süper Çözünürlüğü
Sık sorulan sorular
What is ESRGAN and GAN Super-Resolution?
ESRGAN, bulanık enterpolasyonun ötesine geçerek görüntüleri yükseltirken gerçekçi ayrıntılar icat etmek için oluşturucuya karşı ayırıcı yarışmasını kullanıyor. Bu önemlidir çünkü günümüzde hala araçları etkileyen fotogerçekçi süper çözünürlük için şablon oluşturmuştur.
ESRGAN'daki 'GAN' neyi ifade ediyor?
GAN, eğitim sırasında bir oluşturucunun ve ayırıcının rekabet ettiği bir kurulum olan Üretken Rekabet Ağı anlamına gelir.
ESRGAN jeneratörü öncelikli olarak hangi yapı taşını kullanıyor?
ESRGAN'ın jeneratörü, çekirdek yapısı olarak yoğun şekilde bağlı artık birimler olan Artık Yoğun Blokları (RRDB) istifler.
ESRGAN'ın yazarları toplu normalleştirmeyi neden jeneratörden kaldırdı?
Yazarlar, toplu normalleştirmenin süper çözünürlüklü çıktıda hoş olmayan yapılar ürettiğini buldular ve bu yüzden onu RRDB bloklarından kaldırdılar.
Yalnızca piksel kaybı yöntemleriyle karşılaştırıldığında ESRGAN'ın sağladığı temel ödünleşim nedir?
Rekabetçi kayıp, bireysel piksel değerleri temel gerçeklikten farklı olsa bile çıktıyı gerçekçi görünen dokulara doğru iter.
ESRGAN'ın algısal (VGG) kaybı nerede ölçülür?
ESRGAN, yazarların daha keskin sonuçlar verdiğini tespit ettiği aktivasyon fonksiyonundan önce VGG özellik haritalarındaki algısal kaybı hesaplıyor.