DreamFusion i punktacja próbek destylacyjnych
DreamFusion generuje obiekty 3D z tekstu, używając modelu dyfuzji obrazu 2D jako krytyka, nigdy nie trenując na żadnych danych 3D.
Przegląd
Its core invention, Score Distillation Sampling, became the foundational recipe for the entire text-to-3D field.
Głębokie nurkowanie
DreamFusion z Google w 2022 r. zadał pytanie: czy dwuwymiarowy model zamiany tekstu na obraz może nauczyć sceny 3D patrzenia pod każdym kątem? Optymalizuje NeRF (Neural Radiance Field), dzięki czemu renderingi z losowych punktów widzenia kamery, po zakłóceniu i pokazaniu w zamrożonym modelu dyfuzji (Imagen), oceniane są jako wiarygodne obrazy w podpowiedziach tekstowych. Co najważniejsze, nie wykorzystuje żadnych danych szkoleniowych 3D. Przełomem jest próbkowanie metodą destylacji punktowej (SDS): zamiast propagacji wstecznej przez kosztowną sieć U-Net modelu dyfuzyjnego, SDS wykorzystuje przewidywany szum modelu jako sygnał gradientowy bezpośrednio na renderowanych pikselach. Powtarzanie tego w tysiącach punktów widzenia pozwala wyrzeźbić z jednego zdania spójny zasób 3D, wraz z geometrią i wyglądem zależnym od widoku.
Wgląd techniczny
SDS traktuje model dyfuzji jako zamrożoną funkcję punktacji. Renderuje NeRF, dodaje szum, prosi sieć dyfuzyjną U-Net o przewidzenie tego szumu i oblicza gradient (przewidywany szum minus dodany szum) wypchnięty z powrotem na wyrenderowany obraz, a tym samym wagi NeRF. Pominięcie Jacobiana U-Net sprawia, że jest to wykonalne. Aby uzyskać ostre wyniki, potrzebne są wysokie wskazówki wolne od klasyfikatorów (około 100), co powoduje charakterystyczny przesycony, czasem rozmyty „wygląd DreamFusion”.
Wpływ strategiczny
Szybkość i skala
Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę.
Buduj wybory
Zespoły kreatywne mogą szybciej prototypować koncepcje przy mniejszej liczbie ręcznych poprawek.
Zespół i przepływ pracy
Operacje mogą wykorzystywać sygnały obrazu i wideo, które wcześniej były trudne do przetworzenia.
Przyszłość DreamFusion i próbkowanie metodą destylacji punktowej
SDS zaowocowało szeroką gamą prac naprawiających jego słabe strony: Magic3D w celu uzyskania rozdzielczości i szybkości, Variational Score Destillation firmy ProlificDreamer w celu uzyskania ostrzejszych, bardziej zróżnicowanych wyników oraz metody atakujące wielotwarzowy artefakt „Janus”. W tej dziedzinie coraz częściej łączy się technologię SDS z wielowidoowymi priorytetami dyfuzji i szybkimi reprezentacjami 3D, takimi jak rozpryskiwanie gaussowskie. Oczekuj, że zamiana tekstu na 3D będzie rosła szybciej i będzie bardziej wierna geometrycznie, zmniejszając różnicę dzięki ręcznie modelowanym zasobom.
Implementacja w świecie rzeczywistym
Generowanie modelu 3D „zdjęcia wykonanego lustrzanką cyfrową przedstawiającego wiewiórkę w maleńkim kapeluszu” z samego tekstu
Tworzenie wersji roboczej gry i zasobów AR bez ręcznego rzeźbienia 3D
Produkcja siatek nadających się do eksportu, które artyści udoskonalają, zamiast budować od zera
Badania bazowe do oceny nowszych metod zamiany tekstu na 3D pod kątem SDS
Zagrożenia i poręcze
Prawa do wizerunku i zgoda mogą stanowić ryzyko prawne, jeśli pochodzenie jest niejasne.
Wydajność modelu może się różnić w zależności od oświetlenia, demografii i środowiska.
Fałszywie pozytywne wyniki mogą pozostać niezauważone, chyba że monitorowane są progi ufności.
Plan wdrożenia
Zdefiniuj kryteria akceptacji dotyczące kosztów precyzji, wycofania i błędów.
Przetestuj na danych odpowiadających rzeczywistym warunkom produkcyjnym.
Dodaj weryfikację manualną, aby prognozy były mało pewne lub miały duży wpływ.
Śledź dryf modelu i przeprowadzaj ponowną weryfikację po zmianie kamery lub zbioru danych.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the DreamFusion and Score Distillation Sampling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Modele generatywne oparte na wynikach
Często zadawane pytania
What is DreamFusion and Score Distillation Sampling?
DreamFusion generuje obiekty 3D z tekstu, używając modelu dyfuzji obrazu 2D jako krytyka, nigdy nie trenując na żadnych danych 3D. Jej główny wynalazek, Score Distillation Sampling, stał się podstawową receptą na całą dziedzinę przetwarzania tekstu na 3D.
Jaką reprezentację 3D optymalizuje DreamFusion?
DreamFusion optymalizuje NeRF tak, aby jego renderowane widoki odpowiadały ocenie modelu dyfuzji 2D na podstawie podpowiedzi tekstowych.
Ile danych szkoleniowych 3D wymaga DreamFusion?
DreamFusion wykorzystuje zamrożony model dyfuzji tekstu na obraz 2D jako jedyny nadzór i nie wymaga żadnych danych szkoleniowych 3D.
Jaki jest kluczowy skrót obliczeniowy w próbkowaniu metodą destylacji punktowej?
SDS wykorzystuje przewidywany minus dodany szum jako bezpośredni gradient na renderowanych pikselach, unikając kosztownego efektu Jacobianu U-Net.
Dlaczego DreamFusion korzysta z bardzo dużej liczby wskazówek wolnych od klasyfikatorów (~100)?
Gradient SDS jest zaszumiony i słaby, dlatego potrzebne są niezwykle wysokie wskazówki, aby uzyskać wyraźną, szybką geometrię, choć powoduje to nadmierne nasycenie.
Którego modelu 2D użył oryginalny DreamFusion jako wcześniej zamrożony?
DreamFusion został zbudowany na modelu dyfuzji tekstu na obraz firmy Google firmy Imagen jako funkcja zamrożonej punktacji.