Visual AI Itọsọna
Zero-1-to-3 Aramada Wo Itankale
Zero-1-to-3 yi fọto ẹyọkan ti ohun kan pada si awọn aworan ti ohun kanna ti a rii lati igun tuntun eyikeyi, ni lilo awoṣe itọka ti o ni iloniniye lori yiyi kamẹra ti o beere fun.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
It matters because it lets you reconstruct 3D-consistent views without ever scanning the object from multiple sides.
Jin Dive
Zero-1-to-3 (lati Columbia, 2023) awọn tunes Itankale Stable Diffusion ki o le ṣe akojọpọ wiwo aramada odo-shot lati aworan titẹ sii kan. O fun u ni aworan ẹyọkan pẹlu iyipada kamẹra ojulumo (yiyi ati itumọ kekere kan), ati pe awoṣe n ṣe agbekalẹ ohun ti ohun naa yoo dabi lati oju iwo tuntun yẹn. Ero pataki ni pe awọn awoṣe itankale 2D nla, ti ikẹkọ lori awọn ikojọpọ aworan wẹẹbu nla, ti gba jiometirika taara ati awọn iṣaaju ti ara nipa bii awọn nkan ṣe n wo 3D. Nipa yiyi ti o dara lori iwe data sintetiki ti awọn nkan ti a ṣe lati ọpọlọpọ awọn igun kamẹra iṣakoso (lilo Objaverse), awoṣe kọ ẹkọ lati ṣe maapu awọn iṣaaju wọnyẹn si iṣakoso kamẹra ti o fojuhan. Awọn iwo ti ipilẹṣẹ le lẹhinna jẹ ifunni atunkọ 3D isalẹ.
Real-World imuse
Ṣiṣẹda awọn iwo turntable ti fọto ọja kan ki atokọ e-commerce le ṣafihan nkan naa lati gbogbo awọn ẹgbẹ
Ṣe agbejade apapo 3D ifojuri ti ohun kan lati aworan foonu lasan kan fun awọn awotẹlẹ AR
Ṣiṣẹda awọn ọna itọkasi igun-ọpọlọpọ deede ti ohun kikọ tabi ategun fun ere ati awọn oṣere ero fiimu
Ṣiṣakoṣo awọn iwo aramada ti iṣelọpọ sinu NeRF tabi atunkọ Splatting Gaussian lati kun jiometirika ti a ko rii
Ojo iwaju ti Zero-1-to-3 Aramada Wo Itankale
Zero-1-to-3 ṣe irugbin igbi ti aworan-si-3D pipelines. Awọn aṣeyọri bi Zero123-XL, SyncDreamer, ati Ọkan-2-3-45 Titari si aitasera wiwo-ọpọlọpọ ati yiyara, diẹ sii igbẹkẹle mesh mesh 3D, lakoko ti irẹpọ pẹlu Gaussian Splatting ati awọn awoṣe atunkọ nla n dinku akoko iran lati awọn iṣẹju si iṣẹju-aaya. Reti aitasera wiwo wiwo, ipinnu ti o ga julọ, ati agbaye gidi (kii ṣe ohun-elo sintetiki nikan) gbogbogbo bi oju-iwoye-iṣakoso awọn awoṣe itọka ti o dagba sinu awọn irinṣẹ boṣewa fun ṣiṣẹda akoonu.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iyara ati iwọn. Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.
- Kọ awọn yiyan. Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.
- Ẹgbẹ ati ṣiṣan iṣẹ. Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.
Ṣọra fun
- Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.
- Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.
- Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.
Next awọn igbesẹ
- Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.
- Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.
- Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.
- Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Zero-1-to-3 Novel View Diffusion quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
What is Zero-1-to-3 Novel View Diffusion?
Zero-1-to-3 yi fọto ẹyọkan ti ohun kan pada si awọn aworan ti ohun kanna ti a rii lati igun tuntun eyikeyi, ni lilo awoṣe itọka ti o ni iloniniye lori yiyi kamẹra ti o beere fun. O ṣe pataki nitori pe o jẹ ki o tun ṣe awọn iwo deede-3D laisi ọlọjẹ ohun naa nigbagbogbo lati awọn ẹgbẹ pupọ.
Kini igbewọle mojuto Zero-1-to-3 nilo ni afikun si aworan kan lati ṣe ipilẹṣẹ wiwo tuntun?
Zero-1-to-3 wa ni iloniniye lori aworan ẹyọkan pẹlu iduro kamẹra ojulumo, nitorinaa o pato yiyi ati itumọ si oju iwo ti o fẹ.
Zero-1-to-3 ni itumọ ti nipasẹ itanran-yiyi iru awoṣe?
O dara-tuntun awoṣe itọjade 2D ti o tobi ṣaaju ki o le lo nilokulo jiometirika ṣaju awọn awoṣe wọnyẹn ti a kọ ni taarata lati awọn aworan wẹẹbu.
Kini idi ti awoṣe itọka 2D le ṣe akopọ wiwo aramada odo-shot rara?
Ikẹkọ 2D-nla n funni ni oye ti ko boju mu bi awọn nkan ṣe han ni 3D, eyiti iṣatunṣe didara jẹ ki iṣakoso nipasẹ iduro kamẹra.
Iru data ti awọn nkan 3D jẹ aringbungbun si ikẹkọ Zero-1-to-3?
O ti ni ikẹkọ lori aworan-duro-image triplets ti a ṣe lati inu awọn akojọpọ ohun elo 3D sintetiki nla gẹgẹbi Objaverse.
Bawo ni alaye itanran aworan orisun ti wa ni ipamọ ninu iran naa?
Aworan aise jẹ ikanni-concatenated si alariwo alariwo (lẹgbẹẹ ifibọ CLIP fun imọ-itumọ) nitorina idanimọ ati awọn alaye gbe lọ.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii