SeterusnyaPanduan seterusnya
Cara Mendiagnosis Masalah Pembaikan Rumah Daripada Foto Dengan AI
AI Visual
PANDUAN AI Visual
Animasi potret daripada satu foto membuat pergerakan muka pegun, termasuk berpusing, berkelip, menukar ekspresi atau bercakap.
Dengar panduan iniAI-diceritakan · ~3 min
Ia berfungsi dengan memindahkan gerakan daripada video memandu atau trek audio ke imej sumber. Ia menguasakan avatar bercakap, foto keluarga animasi dan video penyampai, dan ia menimbulkan kebimbangan persetujuan kerana satu foto awam adalah input yang mencukupi.
Setiap sistem mempunyai empat bahagian: imej sumber yang membekalkan penampilan, isyarat pemanduan (video wajah lain atau audio), perwakilan gerakan dan penjana yang meledingkan sumber dan mengisi jurang. Model Gerakan Pesanan Pertama (Siarohin et al., NeurIPS 2019) menetapkan templat. Ia mempelajari titik utama tanpa sebarang label, bersama dengan transformasi afin tempatan di sekeliling setiap satu. Daripada titik kekunci sumber dan pemacu, ia meramalkan medan gerakan padat, iaitu aliran per piksel, serta peta oklusi yang menandakan kawasan yang tidak dapat dibekalkan oleh imej sumber. Ia meledingkan peta ciri sumber dengan aliran dan mempunyai cat penyahkod di kawasan yang tersumbat. Ia juga menggunakan pemindahan gerakan relatif: ia menggunakan cara titik kekunci pemanduan bergerak relatif kepada bingkai pertama video pemanduan, bukan kedudukan mutlaknya, jadi sumber mengekalkan bentuk mukanya sendiri. SadTalker (CVPR 2023) menghidupkan daripada audio. Ia meramalkan pekali Model Boleh Morf 3D daripada pertuturan, menggunakan ExpNet untuk ekspresi dan PoseVAE untuk pose kepala, kemudian menjadikannya melalui penjana muka berasaskan titik kunci. LivePortrait, dikeluarkan oleh Kuaishou pada tahun 2024, menggunakan titik kunci tersirat yang dilatih pada set data yang besar. Ia menambahkan modul jahitan yang menampal kembali wajah animasi ke dalam imej penuh tanpa bahu yang tidak sejajar, dan modul penyasaran semula untuk keterbukaan mata dan bibir. Ia cukup pantas untuk penggunaan hampir masa nyata pada GPU. Kaedah berasaskan resapan seperti EMO Alibaba dan projek Hallo terbuka memberikan hasil yang lebih ekspresif pada kos pengiraan yang lebih tinggi. Satu foto tidak mempunyai maklumat tentang sisi kepala, bahagian dalam mulut atau gigi, jadi kawasan ini dicipta. Pusingan kepala besar meregangkan muka, latar belakang dan rambut mungkin meledingkan bersamanya, dan identiti boleh hanyut. Salah tanggapan yang biasa ialah alat ini membina model 3D penuh orang itu. Malah kaedah berasaskan 3DMM hanya menggunakan model muka anggaran.
Apl genealogi menghidupkan foto datuk dan nenek yang diimbas dengan senyuman dan kelipan mata. Ia kelihatan meyakinkan untuk beberapa saat tetapi rosak jika kepala menoleh jauh.
Pasukan e-pembelajaran menggunakan saluran paip gaya SadTalker untuk menukar tangkapan kepala penyampai dan audio penceritaan kepada pengenalan kursus bercakap.
Seorang pencipta merakam diri mereka pada kamera web untuk memacu potret watak bergambar dengan LivePortrait, menggunakan kawalan penyasaran semulanya untuk membesar-besarkan pembukaan mata.
Meja pengesahan membenderakan video yang dikatakan seorang CEO kerana rambut dan anting-anting kekal tegar secara pelik semasa muka bergerak, yang mencadangkan animasi foto tunggal.
Avatar masa nyata untuk panggilan video, perkhidmatan pelanggan dan pendidikan menjadi praktikal, dan resapan prior menambah baik cara model mengisi kawasan yang tidak kelihatan seperti gigi dan paparan profil. Putaran kepala yang besar, rambut dan aksesori yang konsisten, dan kestabilan identiti jangka panjang kekal sukar. Kerana satu foto adalah input yang mencukupi, persetujuan dan pendedahan adalah kebimbangan utama. Alat pengesanan dan pelabelan asal sedang dibangunkan bersama penjana, tetapi tiada kaedah pengesanan yang cukup dipercayai dengan sendirinya.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Animasi potret daripada satu foto membuat pergerakan muka pegun, termasuk berpusing, berkelip, menukar ekspresi atau bercakap. Ia berfungsi dengan memindahkan gerakan daripada video memandu atau trek audio ke imej sumber. Ia menguasakan avatar bercakap, foto keluarga animasi dan video penyampai, dan ia menimbulkan kebimbangan persetujuan kerana satu foto awam adalah input yang mencukupi.
FOMM menemui titik kunci dengan cara yang tidak diselia. Itulah sebabnya ia boleh berfungsi pada muka dan pada kategori objek lain.
Peta oklusi memberitahu penjana kawasan mana yang tidak boleh datang daripada meledingkan sumber dan mesti diisi.
Menggunakan cara titik kekunci pemanduan berubah, bukannya di mana ia berada, menghentikan geometri muka pemandu daripada menggantikan sumber.
SadTalker's ExpNet dan PoseVAE menghasilkan pekali 3DMM, yang kemudiannya ditukarkan oleh pemapar muka menjadi bingkai.
Modul jahitan memastikan pemangkasan animasi sejajar dengan imej asal yang lain apabila menampalnya kembali.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Cara Mendiagnosis Masalah Pembaikan Rumah Daripada Foto Dengan AI
AI Visual