SıradakiSonraki rehber
Monoküler Derinlik Tahmini
Görsel Yapay Zeka
Görsel Yapay Zeka KILAVUZU
Kadife Çiçeği Difüzyon Derinliği Tahmini
Marigold, son derece ayrıntılı derinlik haritalarını tahmin etmek için önceden eğitilmiş bir görüntü oluşturma yayılma modelini (Kararlı Yayılma) yeniden kullanır.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~2 min
Bu sayfada2 dakika okuma
Genel Bakış
Bu, bir jeneratörün zengin görsel bilgisini şaşırtıcı derecede az eğitim verisi ile hassas bir algılama aracına dönüştürebileceğinizi gösteriyor.
Derin Dalış
Marigold (ETH Zürih, CVPR 2024 En İyi Makale Mansiyon Ödülü), derinlik tahminini koşullu bir üretim sorunu olarak yeniden çerçevelendiriyor. Bir derinlik ağını sıfırdan eğitmek yerine, bir giriş görüntüsüne göre koşullandırılmış bir derinlik haritası 'oluşturmak' için Kararlı Difüzyona ince ayar yapar. Buradaki içgörü, fotogerçekçi görüntüleri sentezlemek için eğitilmiş bir modelin, sahne geometrisini, ışıklandırmayı ve kendi gizli alanının derinliklerindeki yapıyı, tam olarak derinlik için yararlı olan öncelikleri öğrenmiş olmasıdır. Dikkat çekici bir şekilde, Marigold yalnızca sentetik veri kümeleri (Hypersim ve Virtual KITTI gibi) üzerinde ince ayar yapmış olmasına rağmen sıfır çekimli gerçek fotoğraflara iyi bir şekilde genelleme yapıyor. Yinelemeli gürültü giderme onu DepthAnything gibi ileri beslemeli modellerden daha yavaş hale getirse de, olağanüstü derecede ince ayrıntılarla afin-değişmez göreceli derinlik üretir.
Gerçek Dünya Uygulaması
Yeniden aydınlatma ve 3D maketler için mimari ve ürün fotoğraflarından ince taneli derinlik çıkarma.
Kontrol edilebilir görüntü ve video üretimi için koşullandırma olarak kullanılan yüksek detaylı derinlik haritalarının oluşturulması.
Kenar hassasiyetinin önemli olduğu mat ve paralaks çalışmalarında film ve VFX ekiplerine yardımcı olmak.
Üretken önceliklerin yoğun tahmin görevlerine nasıl uyarlanacağını gösteren bir araştırma temeli olarak hizmet etmek.
Kadife Çiçeği Difüzyon Derinliği Tahmininin Geleceği
Yoğun tahmin için difüzyon önceliklerinin ince ayarını yapan Marigold tarifi, derinliğin ötesinde yüzey normallerine, içsel görüntü ayrıştırmasına ve malzeme tahminine kadar genelleme yapıyor. Daha hızlı damıtılmış ve tutarlılık modeli çeşitleri, ileri beslemeli ağlarla hız farkını kapatıyor ve etkileşimli araçlarda yayılmaya dayalı algıyı uygulanabilir hale getiriyor. Önceden eğitilmiş bir üretken omurganın birçok geometri ve algılama görevine uyarlandığı, göreve özgü büyük etiketli veri kümelerine olan ihtiyacın azaldığı daha geniş bir trend bekleyin.
Uygulamaya koymak
Neden önemli?
- Hız ve ölçek. Visual AI, inceleme, algılama ve etiketleme görevlerini geniş ölçekte otomatikleştirebilir.
- Yapı seçimleri. Yaratıcı ekipler, daha az manuel revizyonla konseptleri daha hızlı prototipleyebilir.
- Ekip ve iş akışı. Operasyonlar, daha önce işlenmesi zor olan görüntü ve video sinyallerini kullanabilir.
Dikkat edin
- Kaynağın belirsiz olması durumunda görüntü hakları ve rıza yasal risk haline gelebilir.
- Model performansı aydınlatma, demografik özellikler ve ortamlara göre değişiklik gösterebilir.
- Güven eşikleri izlenmediği sürece yanlış pozitifler fark edilmeyebilir.
Sonraki adımlar
- Kesinlik, geri çağırma ve hata maliyetlerine ilişkin kabul kriterlerini tanımlayın.
- Gerçek üretim koşullarıyla eşleşen verilerle test edin.
- Düşük güvenirliğe sahip veya yüksek etkili tahminler için gerçek kişi tarafından yapılan incelemeyi ekleyin.
- Model kaymasını izleyin ve kamera veya veri kümesi değişikliklerinden sonra yeniden doğrulayın.
Keşfetmeye Devam Edin
Ücretsiz bülten
Günlük AI brifingini alın
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Take the Marigold Diffusion Depth Estimation quiz
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
Sık sorulan sorular
Kadife Çiçeği Difüzyon Derinliği Tahmini Nedir?
Marigold, son derece ayrıntılı derinlik haritalarını tahmin etmek için önceden eğitilmiş bir görüntü oluşturma yayılma modelini (Kararlı Yayılma) yeniden kullanır. Bu, bir jeneratörün zengin görsel bilgisini şaşırtıcı derecede az eğitim verisi ile hassas bir algılama aracına dönüştürebileceğinizi gösteriyor.
Marigold hangi önceden eğitilmiş modeli temel alıyor?
Marigold, derinlik haritaları üretmek için Kararlı Yayılma gizli yayılma modeline ince ayar yapar.
Marigold derinlik tahmini görevini nasıl çerçeveliyor?
Derinliği, yayılma makinesini yeniden kullanarak girdi görüntüsüne göre 'oluşturulacak' bir şey olarak ele alır.
Marigold'un eğitim verilerinde şaşırtıcı olan neydi?
Marigold, Hypersim ve Virtual KITTI gibi sentetik veriler üzerinde ince ayar yaptı ancak sıfır çekimi gerçek fotoğraflara genelleştiriyor.
Marigold neden genellikle ileri beslemeli derinlik modellerinden daha yavaştır?
Yayılma modelleri birden fazla adımda gürültü giderir ve çıkarımların tek bir ileri geçişten daha yavaş olmasını sağlar.
Kadife çiçeği yayılma işlemini hangi alanda gerçekleştirir?
Hem görüntü hem de derinlik, U-Net'in gürültüyü giderdiği VAE gizli alanına kodlanmıştır.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi