Zero-1-to-3 Aramada Wo Itankale
Zero-1-to-3 yi fọto ẹyọkan ti ohun kan pada si awọn aworan ti ohun kanna ti a rii lati igun tuntun eyikeyi, ni lilo awoṣe itọka ti o ni iloniniye lori yiyi kamẹra ti o beere fun.
Akopọ
It matters because it lets you reconstruct 3D-consistent views without ever scanning the object from multiple sides.
Jin Dive
Zero-1-to-3 (lati Columbia, 2023) awọn tunes Itankale Stable Diffusion ki o le ṣe akojọpọ wiwo aramada odo-shot lati aworan titẹ sii kan. O fun u ni aworan ẹyọkan pẹlu iyipada kamẹra ojulumo (yiyi ati itumọ kekere kan), ati pe awoṣe n ṣe agbekalẹ ohun ti ohun naa yoo dabi lati oju iwo tuntun yẹn. Ero pataki ni pe awọn awoṣe itankale 2D nla, ti ikẹkọ lori awọn ikojọpọ aworan wẹẹbu nla, ti gba jiometirika taara ati awọn iṣaaju ti ara nipa bii awọn nkan ṣe n wo 3D. Nipa yiyi ti o dara lori iwe data sintetiki ti awọn nkan ti a ṣe lati ọpọlọpọ awọn igun kamẹra iṣakoso (lilo Objaverse), awoṣe kọ ẹkọ lati ṣe maapu awọn iṣaaju wọnyẹn si iṣakoso kamẹra ti o fojuhan. Awọn iwo ti ipilẹṣẹ le lẹhinna jẹ ifunni atunkọ 3D isalẹ.
Imọ-imọ-ẹrọ
Awọn ipo awoṣe lori aworan orisun ni awọn ọna meji: ifibọ CLIP ti wa ni idapọ pẹlu iduro kamẹra ojulumo (azimuth, igbega, radius) lati da ori agbelebu-akiyesi, lakoko ti aworan aise jẹ ikanni-concatenated si wiwaba alariwo nitorina alaye ti o dara ati idanimọ wa ni ipamọ. Ikẹkọ nlo awọn mẹta-mẹta aworan-duro-aworan ti a ṣe lati awọn ohun CAD, nitorinaa nẹtiwọọki naa kọ ẹkọ iyaworan iṣakoso laarin iyipada oju-iwo ati iyipada ẹbun ti abajade.
Ipa Ilana
Iyara ati iwọn
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.
Kọ awọn yiyan
Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.
Ojo iwaju ti Zero-1-to-3 Aramada Wo Itankale
Zero-1-to-3 ṣe irugbin igbi ti aworan-si-3D pipelines. Awọn aṣeyọri bi Zero123-XL, SyncDreamer, ati Ọkan-2-3-45 Titari si aitasera wiwo-ọpọlọpọ ati yiyara, diẹ sii igbẹkẹle mesh mesh 3D, lakoko ti irẹpọ pẹlu Gaussian Splatting ati awọn awoṣe atunkọ nla n dinku akoko iran lati awọn iṣẹju si iṣẹju-aaya. Reti aitasera wiwo wiwo, ipinnu ti o ga julọ, ati agbaye gidi (kii ṣe ohun-elo sintetiki nikan) gbogbogbo bi oju-iwoye-iṣakoso awọn awoṣe itọka ti o dagba sinu awọn irinṣẹ boṣewa fun ṣiṣẹda akoonu.
Real-World imuse
Ṣiṣẹda awọn iwo turntable ti fọto ọja kan ki atokọ e-commerce le ṣafihan nkan naa lati gbogbo awọn ẹgbẹ
Ṣe agbejade apapo 3D ifojuri ti ohun kan lati aworan foonu lasan kan fun awọn awotẹlẹ AR
Ṣiṣẹda awọn ọna itọkasi igun-ọpọlọpọ deede ti ohun kikọ tabi ategun fun ere ati awọn oṣere ero fiimu
Ṣiṣakoṣo awọn iwo aramada ti iṣelọpọ sinu NeRF tabi atunkọ Splatting Gaussian lati kun jiometirika ti a ko rii
Awọn ewu & Awọn ọna iṣọ
Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.
Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.
Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.
Ilana Ilana imuse
Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.
Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.
Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.
Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Zero-1-to-3 Novel View Diffusion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Aramada Wo Synthesis
Awọn ibeere ti a beere nigbagbogbo
What is Zero-1-to-3 Novel View Diffusion?
Zero-1-to-3 yi fọto ẹyọkan ti ohun kan pada si awọn aworan ti ohun kanna ti a rii lati igun tuntun eyikeyi, ni lilo awoṣe itọka ti o ni iloniniye lori yiyi kamẹra ti o beere fun. O ṣe pataki nitori pe o jẹ ki o tun ṣe awọn iwo deede-3D laisi ọlọjẹ ohun naa nigbagbogbo lati awọn ẹgbẹ pupọ.
Kini igbewọle mojuto Zero-1-to-3 nilo ni afikun si aworan kan lati ṣe ipilẹṣẹ wiwo tuntun?
Zero-1-to-3 wa ni iloniniye lori aworan ẹyọkan pẹlu iduro kamẹra ojulumo, nitorinaa o pato yiyi ati itumọ si oju iwo ti o fẹ.
Zero-1-to-3 ni itumọ ti nipasẹ itanran-yiyi iru awoṣe?
O dara-tuntun awoṣe itọjade 2D ti o tobi ṣaaju ki o le lo nilokulo jiometirika ṣaju awọn awoṣe wọnyẹn ti a kọ ni taarata lati awọn aworan wẹẹbu.
Kini idi ti awoṣe itọka 2D le ṣe akopọ wiwo aramada odo-shot rara?
Ikẹkọ 2D-nla n funni ni oye ti ko boju mu bi awọn nkan ṣe han ni 3D, eyiti iṣatunṣe didara jẹ ki iṣakoso nipasẹ iduro kamẹra.
Iru data ti awọn nkan 3D jẹ aringbungbun si ikẹkọ Zero-1-to-3?
O ti ni ikẹkọ lori aworan-duro-image triplets ti a ṣe lati inu awọn akojọpọ ohun elo 3D sintetiki nla gẹgẹbi Objaverse.
Bawo ni alaye itanran aworan orisun ti wa ni ipamọ ninu iran naa?
Aworan aise jẹ ikanni-concatenated si alariwo alariwo (lẹgbẹẹ ifibọ CLIP fun imọ-itumọ) nitorina idanimọ ati awọn alaye gbe lọ.