PANDUAN AI Visual

Penjanaan Model Imej-ke-3D

Penjanaan imej kepada 3D menukar satu foto atau imej objek kepada model 3D bertekstur, biasanya jaringan, selalunya dalam beberapa saat menggunakan rangkaian suapan ke hadapan seperti TripoSR.

Dengar panduan iniAI-diceritakan · ~3 min

Pada halaman ini4 minit membaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan Penjanaan Model Imej-ke-3D
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Model membina semula perkara yang boleh dilihat dan meneka sisi tersembunyi daripada corak yang dipelajari dalam latihan. Ia penting kerana ia menjadikan aset 3D pantas boleh diakses oleh bukan pakar, tetapi outputnya adalah anggaran yang munasabah, bukan ukuran objek sebenar.

Menyelam dalam

Penjanaan imej-ke-3D menukar satu imej objek kepada model 3D bertekstur yang boleh anda gunakan dalam enjin permainan, pemapar AR atau alat pemodelan. Pendekatan moden yang pantas ialah pembinaan semula ke hadapan: satu melalui rangkaian terlatih, mengambil beberapa saat dan bukannya minit atau jam yang diperlukan oleh kaedah pengoptimuman setiap objek yang lebih lama. Reka bentuk utama datang daripada Model Pembinaan Semula Besar (LRM), makalah 2023 oleh penyelidik di Adobe dan Universiti Nasional Australia. LRM menggunakan pengekod imej terlatih (DINO) dan pengubah besar yang memetakan ciri imej ke dalam tiga satah: tiga satah ciri sejajar paksi yang bersama-sama menerangkan medan 3D. Rangkaian kecil menyahkod ketumpatan dan warna pada bila-bila masa, yang boleh dipaparkan seperti NeRF semasa latihan dan ditukar menjadi jaringan dengan kiub kawad selepas itu. TripoSR, dikeluarkan pada Mac 2024 oleh Stability AI dan Tripo AI di bawah lesen MIT, dibina pada reka bentuk LRM dan melaporkan pembinaan semula dalam masa kurang satu saat pada GPU yang berkebolehan. Stable Fast 3D Stability kemudiannya menambah tekstur dan anggaran bahan yang tidak dibalut UV. Keluarga lain mula-mula menggunakan model resapan untuk membayangkan pandangan baharu objek, idea yang dipelopori oleh Zero-1-to-3, dan kemudian membina semula daripada pandangan tersebut, seperti yang dilakukan oleh InstantMesh. Had utama ialah satu foto tidak mengandungi bahagian belakang objek. Semua yang tersembunyi adalah tekaan yang dipelajari, dibentuk oleh data latihan seperti koleksi besar aset 3D Objaverse. Objek biasa, simetri keluar dengan munasabah; reka bentuk luar biasa, bahagian nipis, bahan lutsinar atau berkilat dan teks halus sering gagal. Skala tidak diketahui daripada satu imej, jadi dimensi tidak boleh dipercayai. Salah tanggapan yang kerap berlaku ialah ini menyamai imbasan 3D atau fotogrametri, yang mengukur geometri sebenar daripada banyak foto. Model imej tunggal sesuai dengan konsep, ruang letak dan prototaip, bukan bahagian yang mesti muat.

Pelaksanaan Dunia Sebenar

Pembangun permainan indie mengambil gambar cawan seramik, mengalih keluar latar belakang dan menggunakan TripoSR untuk mendapatkan jaringan dalam beberapa saat sebagai prop pemegang tempat untuk pemandangan dapur.

Pereka produk menukar lakaran konsep lampu kepada model 3D kasar untuk dilihat dari beberapa sudut sebelum pemodel profesional membina versi akhir.

Seorang penghobi cuba mencetak tombol gantian 3D daripada satu foto dan mendapati dimensi dimatikan dan bahagian belakang yang tersembunyi dicipta, jadi dia beralih kepada mengukurnya dengan angkup.

Penjual dalam talian menjana pratonton 3D mainan mewah untuk penonton AR, kemudian perasan bahagian belakang yang ghaib mempunyai corak jahitan yang dijangka yang tidak sepadan dengan mainan sebenar.

Masa Depan Penjanaan Model Imej-ke-3D

Penyelidikan sedang bergerak ke arah geometri resolusi lebih tinggi, topologi jaringan yang lebih bersih, bahan PBR yang betul dan bukannya warna yang dipanggang dan penggunaan berbilang foto input yang lebih baik apabila tersedia. Menggabungkan resapan berbilang paparan dengan pembinaan semula suapan ke hadapan telah meningkatkan kebolehpercayaan sisi tersembunyi, tetapi satu imej akan sentiasa menjadikan bahagian belakang kurang jelas, jadi tekaan tidak boleh dihapuskan. Jangkakan penyepaduan yang lebih ketat ke dalam enjin permainan dan alatan reka bentuk, dan lebih banyak penggunaan untuk prototaip pantas. Untuk tugasan kritikal ketepatan, kaedah yang diukur seperti fotogrametri, penderia kedalaman dan CAD berkemungkinan kekal diperlukan.

Mempraktikkannya

Mengapa ia penting

  • Kelajuan dan skala. Visual AI boleh mengautomasikan tugas pemeriksaan, pengesanan dan penandaan pada skala.
  • Pilihan binaan. Pasukan kreatif boleh membuat prototaip konsep dengan lebih pantas dengan lebih sedikit semakan manual.
  • Pasukan dan aliran kerja. Operasi boleh menggunakan isyarat imej dan video yang sebelum ini sukar diproses.

Berhati-hati untuk

  • Hak imej dan persetujuan boleh menjadi risiko undang-undang jika asalnya tidak jelas.
  • Prestasi model boleh berbeza mengikut pencahayaan, demografi dan persekitaran.
  • Positif palsu mungkin tidak disedari melainkan ambang keyakinan dipantau.

Langkah seterusnya

  1. Tentukan kriteria penerimaan untuk ketepatan, ingatan semula dan kos ralat.
  2. Uji dengan data yang sepadan dengan keadaan pengeluaran sebenar.
  3. Tambahkan semakan manusia untuk ramalan keyakinan rendah atau berimpak tinggi.
  4. Jejaki hanyut model dan sahkan semula selepas perubahan kamera atau set data.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Take the Image-to-3D Model Generation quiz

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah Penjanaan Model Imej-ke-3D?

Penjanaan imej kepada 3D menukar satu foto atau imej objek kepada model 3D bertekstur, biasanya jaringan, selalunya dalam beberapa saat menggunakan rangkaian suapan ke hadapan seperti TripoSR. Model membina semula perkara yang boleh dilihat dan meneka sisi tersembunyi daripada corak yang dipelajari dalam latihan. Ia penting kerana ia menjadikan aset 3D pantas boleh diakses oleh bukan pakar, tetapi outputnya adalah anggaran yang munasabah, bukan ukuran objek sebenar.

Apakah maksud pembinaan semula suapan ke hadapan dalam imej-ke-3D?

Model suapan ke hadapan meramalkan 3D secara langsung dalam satu laluan, tidak seperti kaedah lama yang mengoptimumkan setiap objek dalam beberapa minit atau jam.

Apakah perwakilan imej peta transformer LRM?

LRM meramalkan triplane, yang rangkaian kecil menyahkod kepada ketumpatan dan warna pada mana-mana titik 3D.

Organisasi manakah yang mengeluarkan TripoSR pada Mac 2024?

TripoSR dikeluarkan oleh Stability AI dan Tripo AI di bawah lesen MIT dan dibina di atas reka bentuk LRM.

Bagaimanakah mesh biasanya diekstrak daripada medan 3D yang diramalkan?

Kiub kawad menukar medan ketumpatan kepada permukaan jaringan segi tiga.

Apakah sumbangan Zero-1-to-3 kepada kaedah imej-ke-3D?

Zero-1-to-3 mempelopori menjana paparan novel dengan penyebaran, yang kaedah seperti InstantMesh kemudiannya dibina semula.