DreamFusion ve Skor Damıtma Örneklemesi
DreamFusion, hiçbir zaman herhangi bir 3D veri üzerinde eğitim almadan, eleştirmen olarak 2D görüntü yayılma modelini kullanarak metinden 3D nesneler oluşturur.
Genel Bakış
Its core invention, Score Distillation Sampling, became the foundational recipe for the entire text-to-3D field.
Derin Dalış
2022'de Google'den DreamFusion şunu sordu: 2D metinden resme modeli, 3D bir sahneye her açıdan doğru görünmeyi öğretebilir mi? Bir NeRF'yi (Nöral Parlaklık Alanı) optimize eder, böylece rastgele kamera bakış açılarından elde edilen görüntüler gürültülendirilip donmuş bir yayılma modeline (Imagen) gösterildiğinde, metin istemi için makul görüntüler olarak puanlanır. En önemlisi, hiçbir 3D eğitim verisini kullanmaz. Bu çığır açıcı gelişme, Skor Damıtma Örneklemesidir (SDS): Difüzyon modelinin pahalı U-Net'i aracılığıyla geri yayılmak yerine, SDS, modelin tahmin edilen gürültüsünü doğrudan oluşturulan pikseller üzerinde bir gradyan sinyali olarak kullanır. Bunu binlerce bakış açısında tekrarlamak, tek bir cümleden geometri ve görünüme bağlı görünümle tamamlanan tutarlı bir 3D varlık oluşturur.
Teknik Bilgi
SDS, difüzyon modelini dondurulmuş bir puanlama fonksiyonu olarak ele alır. NeRF'yi işler, gürültüyü ekler, difüzyon U-Net'ten bu gürültüyü tahmin etmesini ister ve gradyanı (tahmin edilen gürültü eksi eklenen gürültü) işlenmiş görüntüye ve dolayısıyla NeRF ağırlıklarına geri itilerek hesaplar. U-Net Jacobian'ı atlamak onu izlenebilir hale getirir. Keskin sonuçlar için yüksek düzeyde sınıflandırıcı içermeyen kılavuzluk (100 civarında) gerekir; bu da karakteristik aşırı doygun, bazen bulanık 'DreamFusion görünümüne' neden olur.
Stratejik Etki
Speed and scale
Visual AI, inceleme, algılama ve etiketleme görevlerini geniş ölçekte otomatikleştirebilir.
Build choices
Yaratıcı ekipler, daha az manuel revizyonla konseptleri daha hızlı prototipleyebilir.
Ekip ve iş akışı
Operasyonlar, daha önce işlenmesi zor olan görüntü ve video sinyallerini kullanabilir.
DreamFusion ve Skor Damıtma Örneklemesinin Geleceği
SDS, zayıf yönlerini gideren zengin bir çalışma dizisi ortaya çıkardı: çözünürlük ve hız için Magic3D, daha keskin, daha çeşitli çıktılar için ProlificDreamer'ın Variational Score Distillation'ı ve 'Janus'un çok yüzlü eserine saldıran yöntemler. Alan, SDS'yi giderek daha fazla çoklu görüntülü yayılma öncelikleri ve Gaussian Splatting gibi hızlı 3D gösterimlerle eşleştiriyor. Metinden 3D'ye dönüştürmenin daha hızlı büyüyeceğini ve geometrik olarak daha sadık kalacağını, elle modellenen varlıklarla aradaki boşluğun kapanacağını bekleyebilirsiniz.
Gerçek Dünya Uygulaması
Yalnızca metinden 'küçük şapka takan bir sincapın DSLR fotoğrafının' 3 boyutlu modelinin oluşturulması
Manuel 3D şekillendirmeye gerek kalmadan taslak oyun ve AR varlıkları oluşturma
Sıfırdan inşa etmek yerine sanatçıların rafine ettiği, ihraç edilebilir ağlar üretmek
SDS'ye karşı daha yeni metinden 3D'ye dönüştürme yöntemlerini değerlendirmek için araştırma temelleri
Riskler ve Korkuluklar
Kaynağın belirsiz olması durumunda görüntü hakları ve rıza yasal risk haline gelebilir.
Model performansı aydınlatma, demografik özellikler ve ortamlara göre değişiklik gösterebilir.
Güven eşikleri izlenmediği sürece yanlış pozitifler fark edilmeyebilir.
Uygulama Yol Haritası
Kesinlik, geri çağırma ve hata maliyetlerine ilişkin kabul kriterlerini tanımlayın.
Gerçek üretim koşullarıyla eşleşen verilerle test edin.
Düşük güvenirliğe sahip veya yüksek etkili tahminler için gerçek kişi tarafından yapılan incelemeyi ekleyin.
Model kaymasını izleyin ve kamera veya veri kümesi değişikliklerinden sonra yeniden doğrulayın.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the DreamFusion and Score Distillation Sampling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Puana Dayalı Üretken Modeller
Sık sorulan sorular
What is DreamFusion and Score Distillation Sampling?
DreamFusion, hiçbir zaman herhangi bir 3D veri üzerinde eğitim almadan, eleştirmen olarak 2D görüntü yayılma modelini kullanarak metinden 3D nesneler oluşturur. Temel icadı olan Puan Damıtma Örneklemesi, tüm metinden 3D'ye dönüştürme alanının temel tarifi haline geldi.
DreamFusion hangi 3D gösterimi optimize eder?
DreamFusion, NeRF'yi optimize ederek oluşturulan görünümlerin 2D yayılma modelinin metin istemine ilişkin değerlendirmesini tatmin etmesini sağlar.
DreamFusion ne kadar 3D eğitim verisi gerektirir?
DreamFusion, tek denetimi olarak donmuş bir 2D metinden görüntüye yayılma modelini kullanır ve 3D eğitim verisi gerektirmez.
Skor Damıtma Örneklemesindeki temel hesaplama kısayolu nedir?
SDS, pahalı U-Net Jacobian'dan kaçınarak, tahmin edilen eksi eklenen gürültüyü, oluşturulan pikseller üzerinde doğrudan bir degrade olarak kullanır.
DreamFusion neden çok yüksek sınıflandırıcı içermeyen rehberlik (~100) kullanıyor?
SDS gradyanı gürültülü ve zayıftır, bu nedenle aşırı doygunluğa neden olsa da net, anında geometri için alışılmadık derecede yüksek rehberlik gerekir.
Orijinal DreamFusion dondurulmuş önceki modeli olarak hangi 2D modeli kullandı?
DreamFusion, donmuş puanlama işlevi olarak Google'in Imagen metinden görüntüye yayılma modeli temel alınarak oluşturulmuştur.