VQGAN ve Codebook Görüntü Sentezi
VQGAN, görüntüleri öğrenilmiş bir kod kitabından alınan ayrı belirteçlerden oluşan bir ızgaraya sıkıştırarak, bir dönüştürücünün, dil modellerinin metin ürettiği şekilde görüntüler oluşturmasına olanak tanır.
Derin Dalış
2021 tarihli 'Yüksek Çözünürlüklü Görüntü Sentezi için Transformatörleri Ehlileştirme' makalesinde tanıtılan VQGAN, vektör nicemli bir otomatik kodlayıcıyı (VQVAE) çekişmeli ve algısal eğitimle birleştiriyor. Bir kodlayıcı, bir görüntüyü küçük bir özellik vektörleri ızgarasına eşler; her vektör, örneğin 1024 ayrı koddan oluşan öğrenilmiş bir kod kitabındaki en yakın girişe tutturulur ve görüntü bir tamsayı belirteçleri dizisine dönüştürülür. Bir kod çözücü, bir GAN ayırıcısı ve algısal kayıpla eğitilmiş bu belirteçlerden görüntüyü yeniden oluşturur, böylece yeniden yapılanmalar bulanık yerine keskin görünür. Görüntüler artık ayrı belirteç dizileri olduğundan, bir otoregresif transformatör bunları dil gibi modelleyebilir ve belirteçleri tek tek tahmin edebilir. VQGAN, CLIP rehberliğiyle eşleştirildiğinde eski metinden resme sanat araçlarını desteklediği ünlüdür.
Teknik Bilgi
Temel işlem, vektör nicelemesidir: sürekli kodlayıcı çıktıları, 'düz' bir gradyan tahmincisi ile en yakın kod kitabı vektörleriyle değiştirilir, böylece kodlayıcı, türevlenemeyen aramaya rağmen hala öğrenebilir. Otomatik kodlayıcının üstüne yama tabanlı bir GAN ayırıcının eklenmesi, VQGAN'ın VQVAE'den çok daha küçük bir jeton ızgarası (örneğin 16x16) kullanmasına olanak tanırken dokuları canlı tutar ve transformatör modellemeyi izlenebilir hale getirir.
Stratejik Etki
Speed and scale
Visual AI, inceleme, algılama ve etiketleme görevlerini geniş ölçekte otomatikleştirebilir.
Build choices
Yaratıcı ekipler, daha az manuel revizyonla konseptleri daha hızlı prototipleyebilir.
Ekip ve iş akışı
Operasyonlar, daha önce işlenmesi zor olan görüntü ve video sinyallerini kullanabilir.
VQGAN ve Codebook Görüntü Sentezinin Geleceği
VQGAN'ın ayrık belirteç tarifi, MaskGIT'ten görüntü ve metin belirteçlerini tek bir dönüştürücüde karıştıran çok modlu sistemlere kadar belirteç tabanlı görüntü ve video modellerinin temeli oldu. Araştırmalar artık kod kitabının çökmesini önleyen daha büyük, sonlu skaler veya arama gerektirmeyen kod kitaplarına ve aynı kelime dağarcığının görüntüleri, sesi ve dili kapsadığı ve herhangi bir nesile olanak sağladığı birleşik modellere doğru ilerlemektedir.
Gerçek Dünya Uygulaması
Bir transformatörün onu modelleyebilmesi ve yeniden oluşturabilmesi için bir fotoğrafı 16x16'lık bir kod kitabı belirteçleri ızgarasına kodlamak
2021'de viral hale gelen gerçeküstü 'VQGAN+CLIP' yapay zeka sanatını yaratmak için VQGAN'ı CLIP rehberliğiyle eşleştiriyoruz
Verimli depolama veya aşağı yönde üretken eğitim için görüntüleri kompakt ayrık kodlara sıkıştırma
MaskGIT ve multimodal transformatörler gibi daha büyük token tabanlı oluşturucuların içinde görüntü tokenizer olarak hizmet eder
Riskler ve Korkuluklar
Kaynağın belirsiz olması durumunda görüntü hakları ve rıza yasal risk haline gelebilir.
Model performansı aydınlatma, demografik özellikler ve ortamlara göre değişiklik gösterebilir.
Güven eşikleri izlenmediği sürece yanlış pozitifler fark edilmeyebilir.
Uygulama Yol Haritası
Kesinlik, geri çağırma ve hata maliyetlerine ilişkin kabul kriterlerini tanımlayın.
Gerçek üretim koşullarıyla eşleşen verilerle test edin.
Düşük güvenirliğe sahip veya yüksek etkili tahminler için gerçek kişi tarafından yapılan incelemeyi ekleyin.
Model kaymasını izleyin ve kamera veya veri kümesi değişikliklerinden sonra yeniden doğrulayın.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the VQGAN and Codebook Image Synthesis quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
SPADE Anlamsal Görüntü Sentezi
Sık sorulan sorular
What is VQGAN and Codebook Image Synthesis?
VQGAN, görüntüleri öğrenilmiş bir kod kitabından alınan ayrı belirteçlerden oluşan bir ızgaraya sıkıştırarak, bir dönüştürücünün, dil modellerinin metin ürettiği şekilde görüntüler oluşturmasına olanak tanır.
VQGAN bir görüntüyü ayrı belirteçler olarak temsil etmek için ne kullanır?
VQGAN, kodlayıcı özelliklerini öğrenilmiş bir kod kitabındaki en yakın girişlere nicemleyerek görüntüyü bir dizi ayrı kod indeksine dönüştürür.
VQGAN neden VQVAE'nin üstüne bir GAN ayırıcı ekliyor?
Düşmanca ve algısal kayıplar, VQGAN'ın, tek başına VQVAE'nin bulanıklaştırma eğiliminde olduğu kompakt bir belirteç ızgarasından net görüntüleri yeniden oluşturmasına olanak tanır.
Bir görüntü bir dizi belirteçten oluştuğunda, hangi model yeni görüntüler üretir?
Görüntüler ayrı belirteç dizileri haline geldiğinden, bir dönüştürücü onları tıpkı metin üretir gibi otoregresif olarak modelleyebilir.
Hangi teknik, gradyanların diferansiyellenemeyen kuantizasyon adımından geçmesine izin verir?
Vektör nicelemesi türevlendirilemez, dolayısıyla VQGAN kodlayıcıyı eğitmek için düz geçişli bir gradyan tahmincisi kullanır.
VQGAN 2021'de hangi ünlü yapay zeka sanatı trendinin yaratılmasına yardımcı oldu?
VQGAN'ın CLIP kılavuzuyla eşleştirilmesi, metin odaklı görüntü oluşturmayı popüler hale getiren, yaygın olarak paylaşılan 'VQGAN+CLIP' resmini üretti.