Metinden 3D'ye Dönüştürme
Metinden 3D'ye dönüştürme, 'vintage deri koltuk' gibi yazılı bir istemi döndürebileceğiniz, ışıklandırabileceğiniz ve bir oyuna veya sahneye bırakabileceğiniz tam bir 3D modele dönüştürür.
Genel Bakış
It promises to do for 3D assets what image generators did for pictures.
Derin Dalış
Metinden 3D'ye sistemler, bir cümleden 3 boyutlu bir temsil (bir ağ, nokta bulutu veya parlaklık alanı) üretir. Google'nin DreamFusion (2022) ürünü gibi ilk çığır açan buluşlarda Skor Damıtma Örneklemesi kullanıldı: 3D veriler üzerinde eğitim vermek yerine, oluşturulan her 2D görünümün donmuş bir 2D görüntü yayılım modeline uygun görünmesi için bir NeRF'yi optimize ettiler. Bu, 2 boyutlu öncekilerden 3 boyutlu şekilleri önyükledi, ancak yavaştı, nesne başına saatler sürüyordu ve çoğu zaman bir yaratığın birden fazla yüzün büyüdüğü 'Janus sorunu'na neden oluyordu. Daha yeni ileri beslemeli modeller (OpenAI'nin Point-E ve Shap-E'sinin yanı sıra Gaussian-splatting ve büyük yeniden yapılandırma modelleri), varlıkları saniyeler ila dakikalar arasında üretir. Kalite, çoklu görünüm tutarlılığı, temiz topoloji ve kullanılabilir dokular halen aktif zorluklardır.
Teknik Bilgi
DreamFusion'ın temel numarası olan Puan Damıtma Örneklemesi (SDS), 3D eğitim verilerine ihtiyaç duymaz. Bir NeRF'nin rastgele görünümlerini oluşturur, gürültü ekler ve önceden eğitilmiş bir 2D yayılma modeline metin istemine yönelik gürültünün nasıl giderileceğini sorar. Bu gürültü giderici sinyal, NeRF'nin parametrelerini yönlendiren bir gradyan haline gelir, böylece her bakış açısı istemle eşleşir. 2D model, görüntü bilgisini tutarlı bir 3D nesneye damıtan bir eleştirmen görevi görür.
Stratejik Etki
Speed and scale
Visual AI, inceleme, algılama ve etiketleme görevlerini geniş ölçekte otomatikleştirebilir.
Build choices
Yaratıcı ekipler, daha az manuel revizyonla konseptleri daha hızlı prototipleyebilir.
Ekip ve iş akışı
Operasyonlar, daha önce işlenmesi zor olan görüntü ve video sinyallerini kullanabilir.
Metinden 3D'ye Dönüştürmenin Geleceği
Nesne başına yavaş optimizasyondan saniyeler içinde temiz topolojiye, ayrılmış malzemelere ve UV haritalarına sahip üretime hazır ağlar yayan hızlı ileri beslemeli jeneratörlere geçiş bekleyin. 3D Gauss sıçraması ve büyük yeniden yapılandırma modelleri bunu hızlandırıyor. Oyun motorlarına, CAD ve AR hatlarına ve ayrıca metinden 4D'ye (animasyonlu, hareketli nesneler) entegrasyon, konuşmaya dayalı varlık oluşturmayı rutin hale getirecek, ancak hile için insan tarafından yapılan temizlik ve oyuna özel uyumluluk devam edecek.
Gerçek Dünya Uygulaması
Bir oyun stüdyosu, sanatçılar kahraman varlıklarını iyileştirmeden önce, metin istemlerinden dolum seviyelerine kadar arka plan dekorlarının (sandıklar, lambalar, yapraklar) prototiplerini oluşturur.
Bir e-ticaret sitesi, AR 'odanızda görüntüleme' özelliklerine ilişkin katalog açıklamalarından döndürülebilir 3D ürün önizlemelerini otomatik olarak oluşturur.
Bir mimar, varlık kitaplıklarına göz atmak yerine 'yüzyıl ortası kanepe' yazarak, hızlı bir şekilde bir örnek görseli mobilyalarla dolduruyor.
Bir film ön izleme ekibi, son modelleri oluşturmadan önce kamera açılarını test etmek için senaryo açıklamasından sahnenin set süslemesini çıkarır.
Riskler ve Korkuluklar
Kaynağın belirsiz olması durumunda görüntü hakları ve rıza yasal risk haline gelebilir.
Model performansı aydınlatma, demografik özellikler ve ortamlara göre değişiklik gösterebilir.
Güven eşikleri izlenmediği sürece yanlış pozitifler fark edilmeyebilir.
Uygulama Yol Haritası
Kesinlik, geri çağırma ve hata maliyetlerine ilişkin kabul kriterlerini tanımlayın.
Gerçek üretim koşullarıyla eşleşen verilerle test edin.
Düşük güvenirliğe sahip veya yüksek etkili tahminler için gerçek kişi tarafından yapılan incelemeyi ekleyin.
Model kaymasını izleyin ve kamera veya veri kümesi değişikliklerinden sonra yeniden doğrulayın.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Text-to-3D Generation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Magic3D Metinden 3D'ye İşlem Hattı
Sık sorulan sorular
What is Text-to-3D Generation?
Metinden 3D'ye dönüştürme, 'vintage deri koltuk' gibi yazılı bir istemi döndürebileceğiniz, ışıklandırabileceğiniz ve bir oyuna veya sahneye bırakabileceğiniz tam bir 3D modele dönüştürür. Görüntü oluşturucuların resimler için yaptığını 3D varlıklar için yapmayı vaat ediyor.
DreamFusion'ın (2022) temel yeniliği neydi?
DreamFusion, NeRF'yi optimize ederek, oluşturulan her 2D görünümün, SDS kullanarak ve 3D eğitim verileri gerektirmeden donmuş bir 2D görüntü yayılma modelini karşılamasını sağladı.
Metinden 3D'ye dönüştürmede 'Janus sorunu' nedir?
Adını iki yüzlü Roma tanrısından alan Janus sorunu, her 2 boyutlu görünümün bir şekilde bağımsız olarak optimize edilmesi nedeniyle bir nesnenin fazladan yüzler oluşturmasıdır.
Hangi çift OpenAI'un ilk metinden 3D'ye ileri beslemeli modelleriydi?
OpenAI, optimizasyona dayalı yöntemlerden çok daha hızlı 3D varlıklar üreten Point-E (nokta bulutları) ve Shap-E'yi piyasaya sürdü.
DreamFusion gibi ilk optimizasyona dayalı yöntemler neden yavaştı?
Her nesne, birçok gürültülü görüntüde bir NeRF'nin yinelemeli olarak optimize edilmesini gerektiriyordu; bu da genellikle varlık başına saatler sürüyordu.
Hangi çıktı formatı bu sistemler tarafından üretilen tipik bir 3 boyutlu gösterim DEĞİLDİR?
Metinden 3D'ye sistemler; ağlar, nokta bulutları veya parlaklık alanları üretir; MP3 bir ses formatıdır, 3D temsili değildir.