DalšíDalší průvodce
Psaní výzev pro efektivní generování obrázků
Vizuální AI
Vizuální průvodce AI
Generování obrazu na 3D přemění jednu fotografii nebo obrázek objektu na texturovaný 3D model, obvykle síť, často během několika sekund pomocí dopředné sítě, jako je TripoSR.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Model rekonstruuje, co vidí, a hádá skryté strany ze vzorců naučených v tréninku. Je to důležité, protože zpřístupňuje rychlé 3D prvky i laikům, ale jeho výstupem je věrohodný odhad, nikoli měření skutečného objektu.
Generování obrazu na 3D změní jeden obrázek objektu na texturovaný 3D model, který můžete použít v herním enginu, prohlížeči AR nebo nástroji pro modelování. Rychlý moderní přístup je dopředná rekonstrukce: jeden průchod trénovanou sítí, který zabere sekundy namísto minut nebo hodin, které vyžadují starší metody optimalizace jednotlivých objektů. Klíčový návrh pochází z Velkého modelu rekonstrukce (LRM), dokumentu z roku 2023 od výzkumníků z Adobe a Australské národní univerzity. LRM používá předtrénovaný kodér obrazu (DINO) a velký transformátor, který mapuje obrazové prvky do trojroviny: tři osově zarovnané roviny prvků, které společně popisují 3D pole. Malá síť dekóduje hustotu a barvu v libovolném bodě, které lze během tréninku vykreslit jako NeRF a poté převést na síť s pochodujícími kostkami. TripoSR, vydané v březnu 2024 od Stability AI a Tripo AI pod licencí MIT, bylo postaveno na designu LRM a hlásilo rekonstrukce za méně než sekundu na schopném GPU. Pozdější Stable Fast 3D společnosti Stability přidalo textury bez UV záření a odhady materiálu. Jiná rodina nejprve používá model difúze k představě nových pohledů na objekt, což je myšlenka propagovaná Zero-1-to-3, a poté z těchto pohledů rekonstruuje, jako to dělá InstantMesh. Ústředním omezením je, že jedna fotografie neobsahuje zadní stranu objektu. Vše skryté je naučený odhad, utvářený tréninkovými daty, jako je rozsáhlá sbírka 3D aktiv Objeverse. Běžné, symetrické objekty vycházejí věrohodně; neobvyklé vzory, tenké části, průhledné nebo lesklé materiály a jemný text často selhávají. Měřítko je z jednoho obrázku neznámé, takže rozměry nejsou důvěryhodné. Častou mylnou představou je, že se jedná o 3D skenování nebo fotogrammetrii, které měří skutečnou geometrii z mnoha fotografií. Jednoobrázkové modely vyhovují konceptům, zástupným symbolům a prototypům, nikoli dílům, které musí pasovat.
Nezávislý herní vývojář vyfotografuje keramický hrnek, odstraní pozadí a použije TripoSR, aby během několika sekund získal síťku jako zástupnou rekvizitu pro kuchyňskou scénu.
Produktový designér promění koncepční skicu lampy na hrubý 3D model, který lze zobrazit z několika úhlů, než profesionální modelář postaví konečnou verzi.
Hobík se pokusí 3D vytisknout náhradní knoflík z jedné fotografie a zjistí, že rozměry jsou vypnuté a skrytá zadní strana je vynalezena, a tak přejde na měření pomocí posuvného měřítka.
Internetový prodejce vygeneruje 3D náhled plyšové hračky pro diváka AR a poté si všimne, že neviditelná záda mají uhodnutý vzor švu, který neodpovídá skutečné hračce.
Výzkum se posouvá směrem ke geometrii s vyšším rozlišením, čistší topologii sítě, správným PBR materiálům spíše než pečeným barvám a lepšímu využití více vstupních fotografií, pokud jsou k dispozici. Kombinace multi-view difuze s dopřednou rekonstrukcí zlepšila věrohodnost skryté strany, ale jediný snímek vždy ponechá zadní stranu poddefinovanou, takže hádání nelze vyloučit. Očekávejte těsnější integraci do herních enginů a návrhářských nástrojů a více využití pro rychlé prototypování. U úloh kritických pro přesnost budou pravděpodobně i nadále nezbytné měřené metody, jako je fotogrammetrie, hloubkové senzory a CAD.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Generování obrazu na 3D přemění jednu fotografii nebo obrázek objektu na texturovaný 3D model, obvykle síť, často během několika sekund pomocí dopředné sítě, jako je TripoSR. Model rekonstruuje, co vidí, a hádá skryté strany ze vzorců naučených v tréninku. Je to důležité, protože zpřístupňuje rychlé 3D prvky i laikům, ale jeho výstupem je věrohodný odhad, nikoli měření skutečného objektu.
Dopředné modely předpovídají 3D přímo v jediném průchodu, na rozdíl od starších metod, které se optimalizují na objekt během minut nebo hodin.
LRM předpovídá trojrovinu, kterou malá síť dekóduje na hustotu a barvu v jakémkoli 3D bodě.
TripoSR byl vydán Stability AI a Tripo AI pod licencí MIT a postaven na designu LRM.
Pochodové kostky převádějí pole hustoty na trojúhelníkovou síťovou plochu.
Zero-1-to-3 bylo průkopníkem při generování nových pohledů s difúzí, z níž pak rekonstruují metody jako InstantMesh.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Psaní výzev pro efektivní generování obrázků
Vizuální AI