Kadife Çiçeği Difüzyon Derinliği Tahmini
Marigold, son derece ayrıntılı derinlik haritalarını tahmin etmek için önceden eğitilmiş bir görüntü oluşturma yayılma modelini (Kararlı Yayılma) yeniden kullanır.
Genel Bakış
It shows you can turn a generator's rich visual knowledge into a precise perception tool with surprisingly little training data.
Derin Dalış
Marigold (ETH Zürih, CVPR 2024 En İyi Makale Mansiyon Ödülü), derinlik tahminini koşullu bir üretim sorunu olarak yeniden çerçevelendiriyor. Bir derinlik ağını sıfırdan eğitmek yerine, bir giriş görüntüsüne göre koşullandırılmış bir derinlik haritası 'oluşturmak' için Kararlı Difüzyona ince ayar yapar. Buradaki içgörü, fotogerçekçi görüntüleri sentezlemek için eğitilmiş bir modelin, sahne geometrisini, ışıklandırmayı ve kendi gizli alanının derinliklerindeki yapıyı, tam olarak derinlik için yararlı olan öncelikleri öğrenmiş olmasıdır. Dikkat çekici bir şekilde, Marigold yalnızca sentetik veri kümeleri (Hypersim ve Virtual KITTI gibi) üzerinde ince ayar yapmış olmasına rağmen sıfır çekimli gerçek fotoğraflara iyi bir şekilde genelleme yapıyor. Yinelemeli gürültü giderme onu DepthAnything gibi ileri beslemeli modellerden daha yavaş hale getirse de, olağanüstü derecede ince ayrıntılarla afin-değişmez göreceli derinlik üretir.
Teknik Bilgi
Marigold, Stabil Difüzyon'un gizli alanında faaliyet gösteriyor. Hem görüntü hem de derinlik haritası aynı VAE tarafından kodlanmıştır; U-Net, gizli temiz görüntüye bağlı olarak gizli bir derinliğin gürültüsünü giderecek şekilde ince ayarlanmıştır. Çıkarımda standart yinelemeli gürültü giderme döngüsünü çalıştırır, ardından gizli derinliğin kodunu çözer. Örnekleme yaptığı için birden fazla çalıştırma kararlılık için birleştirilebilir, işlem doğruluğu için işlem yapılabilir. Daha sonra 'LCM' ve tek adımlı damıtılmış versiyonlar, düzinelerce adımı tek bir geçişe indirdi.
Stratejik Etki
Speed and scale
Visual AI, inceleme, algılama ve etiketleme görevlerini geniş ölçekte otomatikleştirebilir.
Build choices
Yaratıcı ekipler, daha az manuel revizyonla konseptleri daha hızlı prototipleyebilir.
Ekip ve iş akışı
Operasyonlar, daha önce işlenmesi zor olan görüntü ve video sinyallerini kullanabilir.
Kadife Çiçeği Difüzyon Derinliği Tahmininin Geleceği
Yoğun tahmin için difüzyon önceliklerinin ince ayarını yapan Marigold tarifi, derinliğin ötesinde yüzey normallerine, içsel görüntü ayrıştırmasına ve malzeme tahminine kadar genelleme yapıyor. Daha hızlı damıtılmış ve tutarlılık modeli çeşitleri, ileri beslemeli ağlarla hız farkını kapatıyor ve etkileşimli araçlarda yayılmaya dayalı algıyı uygulanabilir hale getiriyor. Önceden eğitilmiş bir üretken omurganın birçok geometri ve algılama görevine uyarlandığı, göreve özgü büyük etiketli veri kümelerine olan ihtiyacın azaldığı daha geniş bir trend bekleyin.
Gerçek Dünya Uygulaması
Yeniden aydınlatma ve 3D maketler için mimari ve ürün fotoğraflarından ince taneli derinlik çıkarma.
Kontrol edilebilir görüntü ve video üretimi için koşullandırma olarak kullanılan yüksek detaylı derinlik haritalarının oluşturulması.
Kenar hassasiyetinin önemli olduğu mat ve paralaks çalışmalarında film ve VFX ekiplerine yardımcı olmak.
Üretken önceliklerin yoğun tahmin görevlerine nasıl uyarlanacağını gösteren bir araştırma temeli olarak hizmet etmek.
Riskler ve Korkuluklar
Kaynağın belirsiz olması durumunda görüntü hakları ve rıza yasal risk haline gelebilir.
Model performansı aydınlatma, demografik özellikler ve ortamlara göre değişiklik gösterebilir.
Güven eşikleri izlenmediği sürece yanlış pozitifler fark edilmeyebilir.
Uygulama Yol Haritası
Kesinlik, geri çağırma ve hata maliyetlerine ilişkin kabul kriterlerini tanımlayın.
Gerçek üretim koşullarıyla eşleşen verilerle test edin.
Düşük güvenirliğe sahip veya yüksek etkili tahminler için gerçek kişi tarafından yapılan incelemeyi ekleyin.
Model kaymasını izleyin ve kamera veya veri kümesi değişikliklerinden sonra yeniden doğrulayın.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Marigold Diffusion Depth Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Monoküler Derinlik Tahmini
Sık sorulan sorular
What is Marigold Diffusion Depth Estimation?
Marigold, son derece ayrıntılı derinlik haritalarını tahmin etmek için önceden eğitilmiş bir görüntü oluşturma yayılma modelini (Kararlı Yayılma) yeniden kullanır. Bu, bir jeneratörün zengin görsel bilgisini şaşırtıcı derecede az eğitim verisi ile hassas bir algılama aracına dönüştürebileceğinizi gösteriyor.
Marigold hangi önceden eğitilmiş modeli temel alıyor?
Marigold, derinlik haritaları üretmek için Kararlı Yayılma gizli yayılma modeline ince ayar yapar.
Marigold derinlik tahmini görevini nasıl çerçeveliyor?
Derinliği, yayılma makinesini yeniden kullanarak girdi görüntüsüne göre 'oluşturulacak' bir şey olarak ele alır.
Marigold'un eğitim verilerinde şaşırtıcı olan neydi?
Marigold, Hypersim ve Virtual KITTI gibi sentetik veriler üzerinde ince ayar yaptı ancak sıfır çekimi gerçek fotoğraflara genelleştiriyor.
Marigold neden genellikle ileri beslemeli derinlik modellerinden daha yavaştır?
Yayılma modelleri birden fazla adımda gürültü giderir ve çıkarımların tek bir ileri geçişten daha yavaş olmasını sağlar.
Kadife çiçeği yayılma işlemini hangi alanda gerçekleştirir?
Hem görüntü hem de derinlik, U-Net'in gürültüyü giderdiği VAE gizli alanına kodlanmıştır.