SeterusnyaPanduan seterusnya
Menulis Gesaan Penjanaan Imej Berkesan
AI Visual
PANDUAN AI Visual
Penjanaan imej kepada 3D menukar satu foto atau imej objek kepada model 3D bertekstur, biasanya jaringan, selalunya dalam beberapa saat menggunakan rangkaian suapan ke hadapan seperti TripoSR.
Dengar panduan iniAI-diceritakan · ~3 min
Model membina semula perkara yang boleh dilihat dan meneka sisi tersembunyi daripada corak yang dipelajari dalam latihan. Ia penting kerana ia menjadikan aset 3D pantas boleh diakses oleh bukan pakar, tetapi outputnya adalah anggaran yang munasabah, bukan ukuran objek sebenar.
Penjanaan imej-ke-3D menukar satu imej objek kepada model 3D bertekstur yang boleh anda gunakan dalam enjin permainan, pemapar AR atau alat pemodelan. Pendekatan moden yang pantas ialah pembinaan semula ke hadapan: satu melalui rangkaian terlatih, mengambil beberapa saat dan bukannya minit atau jam yang diperlukan oleh kaedah pengoptimuman setiap objek yang lebih lama. Reka bentuk utama datang daripada Model Pembinaan Semula Besar (LRM), makalah 2023 oleh penyelidik di Adobe dan Universiti Nasional Australia. LRM menggunakan pengekod imej terlatih (DINO) dan pengubah besar yang memetakan ciri imej ke dalam tiga satah: tiga satah ciri sejajar paksi yang bersama-sama menerangkan medan 3D. Rangkaian kecil menyahkod ketumpatan dan warna pada bila-bila masa, yang boleh dipaparkan seperti NeRF semasa latihan dan ditukar menjadi jaringan dengan kiub kawad selepas itu. TripoSR, dikeluarkan pada Mac 2024 oleh Stability AI dan Tripo AI di bawah lesen MIT, dibina pada reka bentuk LRM dan melaporkan pembinaan semula dalam masa kurang satu saat pada GPU yang berkebolehan. Stable Fast 3D Stability kemudiannya menambah tekstur dan anggaran bahan yang tidak dibalut UV. Keluarga lain mula-mula menggunakan model resapan untuk membayangkan pandangan baharu objek, idea yang dipelopori oleh Zero-1-to-3, dan kemudian membina semula daripada pandangan tersebut, seperti yang dilakukan oleh InstantMesh. Had utama ialah satu foto tidak mengandungi bahagian belakang objek. Semua yang tersembunyi adalah tekaan yang dipelajari, dibentuk oleh data latihan seperti koleksi besar aset 3D Objaverse. Objek biasa, simetri keluar dengan munasabah; reka bentuk luar biasa, bahagian nipis, bahan lutsinar atau berkilat dan teks halus sering gagal. Skala tidak diketahui daripada satu imej, jadi dimensi tidak boleh dipercayai. Salah tanggapan yang kerap berlaku ialah ini menyamai imbasan 3D atau fotogrametri, yang mengukur geometri sebenar daripada banyak foto. Model imej tunggal sesuai dengan konsep, ruang letak dan prototaip, bukan bahagian yang mesti muat.
Pembangun permainan indie mengambil gambar cawan seramik, mengalih keluar latar belakang dan menggunakan TripoSR untuk mendapatkan jaringan dalam beberapa saat sebagai prop pemegang tempat untuk pemandangan dapur.
Pereka produk menukar lakaran konsep lampu kepada model 3D kasar untuk dilihat dari beberapa sudut sebelum pemodel profesional membina versi akhir.
Seorang penghobi cuba mencetak tombol gantian 3D daripada satu foto dan mendapati dimensi dimatikan dan bahagian belakang yang tersembunyi dicipta, jadi dia beralih kepada mengukurnya dengan angkup.
Penjual dalam talian menjana pratonton 3D mainan mewah untuk penonton AR, kemudian perasan bahagian belakang yang ghaib mempunyai corak jahitan yang dijangka yang tidak sepadan dengan mainan sebenar.
Penyelidikan sedang bergerak ke arah geometri resolusi lebih tinggi, topologi jaringan yang lebih bersih, bahan PBR yang betul dan bukannya warna yang dipanggang dan penggunaan berbilang foto input yang lebih baik apabila tersedia. Menggabungkan resapan berbilang paparan dengan pembinaan semula suapan ke hadapan telah meningkatkan kebolehpercayaan sisi tersembunyi, tetapi satu imej akan sentiasa menjadikan bahagian belakang kurang jelas, jadi tekaan tidak boleh dihapuskan. Jangkakan penyepaduan yang lebih ketat ke dalam enjin permainan dan alatan reka bentuk, dan lebih banyak penggunaan untuk prototaip pantas. Untuk tugasan kritikal ketepatan, kaedah yang diukur seperti fotogrametri, penderia kedalaman dan CAD berkemungkinan kekal diperlukan.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Penjanaan imej kepada 3D menukar satu foto atau imej objek kepada model 3D bertekstur, biasanya jaringan, selalunya dalam beberapa saat menggunakan rangkaian suapan ke hadapan seperti TripoSR. Model membina semula perkara yang boleh dilihat dan meneka sisi tersembunyi daripada corak yang dipelajari dalam latihan. Ia penting kerana ia menjadikan aset 3D pantas boleh diakses oleh bukan pakar, tetapi outputnya adalah anggaran yang munasabah, bukan ukuran objek sebenar.
Model suapan ke hadapan meramalkan 3D secara langsung dalam satu laluan, tidak seperti kaedah lama yang mengoptimumkan setiap objek dalam beberapa minit atau jam.
LRM meramalkan triplane, yang rangkaian kecil menyahkod kepada ketumpatan dan warna pada mana-mana titik 3D.
TripoSR dikeluarkan oleh Stability AI dan Tripo AI di bawah lesen MIT dan dibina di atas reka bentuk LRM.
Kiub kawad menukar medan ketumpatan kepada permukaan jaringan segi tiga.
Zero-1-to-3 mempelopori menjana paparan novel dengan penyebaran, yang kaedah seperti InstantMesh kemudiannya dibina semula.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Menulis Gesaan Penjanaan Imej Berkesan
AI Visual