Visual AI Itọsọna

Zero-1-to-3 Aramada Wo Itankale

Zero-1-to-3 yi fọto ẹyọkan ti ohun kan pada si awọn aworan ti ohun kanna ti a rii lati igun tuntun eyikeyi, ni lilo awoṣe itọka ti o ni iloniniye lori yiyi kamẹra ti o beere fun.

Akopọ

Zero-1-to-3 yi fọto ẹyọkan ti ohun kan pada si awọn aworan ti ohun kanna ti a rii lati igun tuntun eyikeyi, ni lilo awoṣe itọka ti o ni iloniniye lori yiyi kamẹra ti o beere fun. O ṣe pataki nitori pe o jẹ ki o tun ṣe awọn iwo deede-3D laisi ọlọjẹ ohun naa nigbagbogbo lati awọn ẹgbẹ pupọ.

Zero-1-to-3 Aramada Wiwo Itankale jẹ ti awọn iṣan-iṣẹ iṣẹ iran-kọmputa ti o tumọ tabi ṣe agbejade media wiwo fun itupalẹ, awọn iṣẹ ṣiṣe, ati ẹda.

Jin Dive

Zero-1-to-3 (lati Columbia, 2023) awọn tunes Itankale Stable Diffusion ki o le ṣe akojọpọ wiwo aramada odo-shot lati aworan titẹ sii kan. O fun u ni aworan ẹyọkan pẹlu iyipada kamẹra ojulumo (yiyi ati itumọ kekere kan), ati pe awoṣe n ṣe agbekalẹ ohun ti ohun naa yoo dabi lati oju iwo tuntun yẹn. Ero pataki ni pe awọn awoṣe itankale 2D nla, ti ikẹkọ lori awọn ikojọpọ aworan wẹẹbu nla, ti gba jiometirika taara ati awọn iṣaaju ti ara nipa bii awọn nkan ṣe n wo 3D. Nipa yiyi ti o dara lori iwe data sintetiki ti awọn nkan ti a ṣe lati ọpọlọpọ awọn igun kamẹra iṣakoso (lilo Objaverse), awoṣe kọ ẹkọ lati ṣe maapu awọn iṣaaju wọnyẹn si iṣakoso kamẹra ti o fojuhan. Awọn iwo ti ipilẹṣẹ le lẹhinna jẹ ifunni atunkọ 3D isalẹ.

Imọ-imọ-ẹrọ

Awọn ipo awoṣe lori aworan orisun ni awọn ọna meji: ifibọ CLIP ti wa ni idapọ pẹlu iduro kamẹra ojulumo (azimuth, igbega, radius) lati da ori agbelebu-akiyesi, lakoko ti aworan aise jẹ ikanni-concatenated si wiwaba alariwo nitorina alaye ti o dara ati idanimọ wa ni ipamọ. Ikẹkọ nlo awọn mẹta-mẹta aworan-duro-aworan ti a ṣe lati awọn ohun CAD, nitorinaa nẹtiwọọki naa kọ ẹkọ iyaworan iṣakoso laarin iyipada oju-iwo ati iyipada ẹbun ti abajade.

Mastering Zero-1-to-3 Aramada Wo Itankale

Zero-1-to-3 yi fọto ẹyọkan ti ohun kan pada si awọn aworan ti ohun kanna ti a rii lati igun tuntun eyikeyi, ni lilo awoṣe itọka ti o ni iloniniye lori yiyi kamẹra ti o beere fun. O ṣe pataki nitori pe o jẹ ki o tun ṣe awọn iwo deede-3D laisi ọlọjẹ ohun naa nigbagbogbo lati awọn ẹgbẹ pupọ. Zero-1-to-3 Aramada Wiwo Itankale jẹ ti awọn iṣan-iṣẹ iṣẹ iran-kọmputa ti o tumọ tabi ṣe agbejade media wiwo fun itupalẹ, awọn iṣẹ ṣiṣe, ati ẹda. Lati kọ oye ti o jinlẹ, tọju Zero-1-to-3 aramada Wo Itankale bi awoṣe iṣẹ, kii ṣe ẹya ẹyọkan: ṣalaye awọn abajade ti o fẹ, ṣe alaye awọn arosọ, ati lọtọ ohun ti eto le ṣe ni igbẹkẹle lati ohun ti o tun nilo idajọ amoye.

Ni iṣe, awọn ẹgbẹ ti o lagbara ni lilo Zero-1-to-3 Novel View Diffusion išedede pẹlu awọn ojulowo iṣẹ bii didara data, iyatọ ina, ati isamisi aitasera. Wọn ṣe akọsilẹ awọn ibeere aṣeyọri ti o fojuhan, idanwo lodi si data ojulowo ati ṣiṣan iṣẹ, ati atunbere ti o da lori awọn ilana ikuna ti a ṣakiyesi dipo awọn bori ala-akoko kan. Eyi ni ibiti oye imọ-jinlẹ yipada si agbara ti o tọ kọja ọja, eto imulo, ati awọn iṣẹ ṣiṣe.

Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn. Ni akoko kanna, Awọn ẹtọ aworan ati ifọkansi le di awọn eewu labẹ ofin ti o ba jẹ afihan. Ọna resilient julọ julọ ni lati darapọ iyara idanwo pẹlu ibawi ijọba: ṣiṣe awọn awakọ awakọ, mu ẹri mu, ṣe atẹjade awọn iwe ipinnu, ati imudojuiwọn awọn aabo nigbagbogbo bi ihuwasi awoṣe, awọn ireti olumulo, ati awọn ibeere ilana ti dagbasoke.

Ipa Ilana

Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.

Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.

Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.

Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.

Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.

Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.

Ojo iwaju ti Zero-1-to-3 Aramada Wo Itankale

Zero-1-to-3 ṣe irugbin igbi ti aworan-si-3D pipelines. Awọn aṣeyọri bi Zero123-XL, SyncDreamer, ati Ọkan-2-3-45 Titari si aitasera wiwo-ọpọlọpọ ati yiyara, diẹ sii igbẹkẹle mesh mesh 3D, lakoko ti irẹpọ pẹlu Gaussian Splatting ati awọn awoṣe atunkọ nla n dinku akoko iran lati awọn iṣẹju si iṣẹju-aaya. Reti aitasera wiwo wiwo, ipinnu ti o ga julọ, ati agbaye gidi (kii ṣe ohun-elo sintetiki nikan) gbogbogbo bi oju-iwoye-iṣakoso awọn awoṣe itọka ti o dagba sinu awọn irinṣẹ boṣewa fun ṣiṣẹda akoonu.

Real-World imuse

Ṣiṣẹda awọn iwo turntable ti fọto ọja kan ki atokọ e-commerce le ṣafihan nkan naa lati gbogbo awọn ẹgbẹ

Ṣe agbejade apapo 3D ifojuri ti ohun kan lati aworan foonu lasan kan fun awọn awotẹlẹ AR

Ṣiṣẹda awọn ọna itọkasi igun-ọpọlọpọ deede ti ohun kikọ tabi ategun fun ere ati awọn oṣere ero fiimu

Ṣiṣakoṣo awọn iwo aramada ti iṣelọpọ sinu NeRF tabi atunkọ Splatting Gaussian lati kun jiometirika ti a ko rii

Awọn Ilana imuse

Zero-1-to-3 Aramada Wo Itankale ni asa

Ṣiṣẹda awọn iwo turntable ti fọto ọja kan ki atokọ e-commerce le ṣafihan nkan naa lati gbogbo awọn ẹgbẹ.

Ṣiṣẹda awọn iwo turntable ti fọto ọja kan ki atokọ e-commerce le ṣafihan nkan naa lati gbogbo awọn ẹgbẹ Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe lori akoko.

Zero-1-to-3 Aramada Wo Itankale ni asa

Bootstrapping a ifojuri 3D apapo ti ohun kan lati ọkan àjọsọpọ aworan foonu fun awọn awotẹlẹ AR.

Bootstrapping mesh 3D ifojuri ti ohun kan lati inu aworan foonu lasan kan fun awọn awotẹlẹ AR Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna igbega eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe ni akoko pupọ.

Zero-1-to-3 Aramada Wo Itankale ni asa

Ṣiṣẹda awọn ọna itọkasi igun-ọpọlọpọ deede ti ohun kikọ tabi ategun fun ere ati awọn oṣere ero fiimu.

Ṣiṣẹda awọn ọna itọkasi igun-ọpọlọpọ ti o ni ibamu ti ohun kikọ tabi igbero fun ere ati awọn oṣere ero fiimu Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe lori akoko.

Zero-1-to-3 Aramada Wo Itankale ni asa

Ifunni awọn iwo aramada ti iṣelọpọ sinu NeRF tabi atunkọ Splatting Gaussian lati kun jiometirika ti a ko rii.

Ifunni awọn iwo aramada ti iṣelọpọ sinu NeRF tabi atunkọ splatting Gaussian lati kun awọn ẹgbẹ jiometirika ti a ko rii nigbagbogbo gba awọn abajade ti o dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna igbega eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe ni akoko pupọ.

Awọn ewu & Awọn ọna iṣọ

!

Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.

!

Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.

!

Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.

Ilana Ilana imuse

1

Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.

Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

2

Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.

Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

3

Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.

Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

4

Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.

Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

Tesiwaju Ṣiṣawari