SıradakiSonraki rehber
Roman Görünümü Sentezi
Görsel Yapay Zeka
Görsel Yapay Zeka KILAVUZU
Sıfır-1'den 3'e Roman Görünümü Dağıtımı
Sıfır-1'den 3'e, istediğiniz kamera dönüşüne bağlı bir yayılma modeli kullanarak, bir nesnenin tek bir fotoğrafını aynı nesnenin herhangi bir yeni açıdan görülen görüntülerine dönüştürür.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~2 min
Bu sayfada2 dakika okuma
Genel Bakış
It matters because it lets you reconstruct 3D-consistent views without ever scanning the object from multiple sides.
Derin Dalış
Sıfır-1'den 3'e (Columbia, 2023'ten), Kararlı Difüzyona ince ayar yaparak tek bir giriş görüntüsünden sıfır atışlı yeni görünüm sentezi gerçekleştirebilir. Ona tek bir resim artı göreceli bir kamera dönüşümü (döndürme ve küçük bir çeviri) beslersiniz ve model, nesnenin bu yeni bakış açısından nasıl görüneceğini üretir. Ana fikir, büyük web görüntü koleksiyonları üzerinde eğitilen büyük 2 boyutlu yayılma modellerinin, nesnelerin 3 boyutlu olarak nasıl göründüğüne ilişkin geometrik ve fiziksel öncelikleri örtülü olarak absorbe etmesidir. Model, birçok kontrollü kamera açısından (Objaverse kullanılarak) oluşturulan sentetik bir nesne veri kümesi üzerinde ince ayar yaparak, bu öncelikleri açık kamera kontrolüne eşlemeyi öğrenir. Oluşturulan görünümler daha sonra aşağı akışlı 3D yeniden yapılandırmayı besleyebilir.
Gerçek Dünya Uygulaması
Tek bir ürün fotoğrafının döner tabla görünümlerini oluşturarak bir e-ticaret listesinin ürünü her yönden gösterebilmesini sağlamak
AR önizlemeleri için sıradan bir telefon anlık görüntüsünden bir nesnenin dokulu 3B ağını önyükleme
Oyun ve film konsept sanatçıları için bir karakterin veya sahne donanımının tutarlı, çok açılı referans sanatının oluşturulması
Görünmeyen geometriyi doldurmak için sentezlenmiş yeni görünümleri NeRF veya Gaussian Splatting yeniden yapılandırmasına besleme
Sıfır 1'den 3'e Roman Görünümü Yayılımının Geleceği
Sıfır 1'den 3'e, görüntüden 3D'ye ardışık düzen dalgasının tohumunu attı. Zero123-XL, SyncDreamer ve One-2-3-45 gibi halefler, çoklu görüntü tutarlılığına ve daha hızlı, daha güvenilir 3D ağ çıktısına doğru ilerlerken, Gaussian Splatting ve büyük yeniden yapılandırma modelleriyle entegrasyon, üretim süresini dakikalardan saniyelere indiriyor. Bakış açısıyla kontrol edilebilen bu yayılma modelleri, içerik oluşturma için standart araçlara dönüştükçe daha sıkı görüntü tutarlılığı, daha yüksek çözünürlük ve gerçek dünyaya (yalnızca sentetik nesne değil) genelleme bekleyebilirsiniz.
Uygulamaya koymak
Neden önemli?
- Hız ve ölçek. Visual AI, inceleme, algılama ve etiketleme görevlerini geniş ölçekte otomatikleştirebilir.
- Yapı seçimleri. Yaratıcı ekipler, daha az manuel revizyonla konseptleri daha hızlı prototipleyebilir.
- Ekip ve iş akışı. Operasyonlar, daha önce işlenmesi zor olan görüntü ve video sinyallerini kullanabilir.
Dikkat edin
- Kaynağın belirsiz olması durumunda görüntü hakları ve rıza yasal risk haline gelebilir.
- Model performansı aydınlatma, demografik özellikler ve ortamlara göre değişiklik gösterebilir.
- Güven eşikleri izlenmediği sürece yanlış pozitifler fark edilmeyebilir.
Sonraki adımlar
- Kesinlik, geri çağırma ve hata maliyetlerine ilişkin kabul kriterlerini tanımlayın.
- Gerçek üretim koşullarıyla eşleşen verilerle test edin.
- Düşük güvenirliğe sahip veya yüksek etkili tahminler için gerçek kişi tarafından yapılan incelemeyi ekleyin.
- Model kaymasını izleyin ve kamera veya veri kümesi değişikliklerinden sonra yeniden doğrulayın.
Keşfetmeye Devam Edin
Ücretsiz bülten
Günlük AI brifingini alın
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Take the Zero-1-to-3 Novel View Diffusion quiz
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
Sık sorulan sorular
What is Zero-1-to-3 Novel View Diffusion?
Sıfır-1'den 3'e, istediğiniz kamera dönüşüne bağlı bir yayılma modeli kullanarak, bir nesnenin tek bir fotoğrafını aynı nesnenin herhangi bir yeni açıdan görülen görüntülerine dönüştürür. Bu önemlidir çünkü nesneyi birden çok taraftan taramanıza gerek kalmadan 3 boyutlu tutarlı görünümleri yeniden oluşturmanıza olanak tanır.
Yeni bir görünüm oluşturmak için Sıfır 1'den 3'e kadar tek bir görüntünün yanı sıra temel girdi nedir?
Sıfır-1'den 3'e, tek bir görüntü artı göreceli bir kamera pozuna göre koşullandırılır, böylece istenen bakış açısına göre döndürme ve çeviriyi siz belirlersiniz.
Sıfır 1'den 3'e ince ayar yapılarak oluşturulan model hangisidir?
Önceden eğitilmiş büyük bir 2D yayılma modeline ince ayar yapar, böylece web görüntülerinden dolaylı olarak öğrenilen modellerin geometrik önceliklerinden yararlanabilir.
Bir 2D yayılma modeli neden sıfır atışlı yeni görünüm sentezi gerçekleştirebiliyor?
Büyük ölçekli 2B eğitim, nesnelerin 3B'de nasıl göründüğüne ilişkin örtülü bilgi sağlar; bu ince ayar, kamera pozu yoluyla kontrol edilebilir hale getirir.
Sıfır 1'den 3'e eğitimin merkezinde hangi 3 boyutlu nesne veri kümesi vardı?
Objaverse gibi büyük sentetik 3 boyutlu nesne koleksiyonlarından oluşturulan görüntü-poz-görüntü üçlüleri üzerinde eğitildi.
Kaynak görüntünün ince ayrıntıları nesilde nasıl korunuyor?
Ham görüntü, gürültülü gizli görüntüye (anlambilim için bir CLIP yerleştirmenin yanı sıra) kanalla birleştirilmiştir, böylece kimlik ve ayrıntı devam eder.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi