PANDUAN AI Visual

Animasi Potret daripada Foto Tunggal

Animasi potret daripada satu foto membuat pergerakan muka pegun, termasuk berpusing, berkelip, menukar ekspresi atau bercakap.

Dengar panduan iniAI-diceritakan · ~3 min

Pada halaman ini4 minit membaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan Animasi Potret daripada Foto Tunggal
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Ia berfungsi dengan memindahkan gerakan daripada video memandu atau trek audio ke imej sumber. Ia menguasakan avatar bercakap, foto keluarga animasi dan video penyampai, dan ia menimbulkan kebimbangan persetujuan kerana satu foto awam adalah input yang mencukupi.

Menyelam dalam

Setiap sistem mempunyai empat bahagian: imej sumber yang membekalkan penampilan, isyarat pemanduan (video wajah lain atau audio), perwakilan gerakan dan penjana yang meledingkan sumber dan mengisi jurang. Model Gerakan Pesanan Pertama (Siarohin et al., NeurIPS 2019) menetapkan templat. Ia mempelajari titik utama tanpa sebarang label, bersama dengan transformasi afin tempatan di sekeliling setiap satu. Daripada titik kekunci sumber dan pemacu, ia meramalkan medan gerakan padat, iaitu aliran per piksel, serta peta oklusi yang menandakan kawasan yang tidak dapat dibekalkan oleh imej sumber. Ia meledingkan peta ciri sumber dengan aliran dan mempunyai cat penyahkod di kawasan yang tersumbat. Ia juga menggunakan pemindahan gerakan relatif: ia menggunakan cara titik kekunci pemanduan bergerak relatif kepada bingkai pertama video pemanduan, bukan kedudukan mutlaknya, jadi sumber mengekalkan bentuk mukanya sendiri. SadTalker (CVPR 2023) menghidupkan daripada audio. Ia meramalkan pekali Model Boleh Morf 3D daripada pertuturan, menggunakan ExpNet untuk ekspresi dan PoseVAE untuk pose kepala, kemudian menjadikannya melalui penjana muka berasaskan titik kunci. LivePortrait, dikeluarkan oleh Kuaishou pada tahun 2024, menggunakan titik kunci tersirat yang dilatih pada set data yang besar. Ia menambahkan modul jahitan yang menampal kembali wajah animasi ke dalam imej penuh tanpa bahu yang tidak sejajar, dan modul penyasaran semula untuk keterbukaan mata dan bibir. Ia cukup pantas untuk penggunaan hampir masa nyata pada GPU. Kaedah berasaskan resapan seperti EMO Alibaba dan projek Hallo terbuka memberikan hasil yang lebih ekspresif pada kos pengiraan yang lebih tinggi. Satu foto tidak mempunyai maklumat tentang sisi kepala, bahagian dalam mulut atau gigi, jadi kawasan ini dicipta. Pusingan kepala besar meregangkan muka, latar belakang dan rambut mungkin meledingkan bersamanya, dan identiti boleh hanyut. Salah tanggapan yang biasa ialah alat ini membina model 3D penuh orang itu. Malah kaedah berasaskan 3DMM hanya menggunakan model muka anggaran.

Pelaksanaan Dunia Sebenar

Apl genealogi menghidupkan foto datuk dan nenek yang diimbas dengan senyuman dan kelipan mata. Ia kelihatan meyakinkan untuk beberapa saat tetapi rosak jika kepala menoleh jauh.

Pasukan e-pembelajaran menggunakan saluran paip gaya SadTalker untuk menukar tangkapan kepala penyampai dan audio penceritaan kepada pengenalan kursus bercakap.

Seorang pencipta merakam diri mereka pada kamera web untuk memacu potret watak bergambar dengan LivePortrait, menggunakan kawalan penyasaran semulanya untuk membesar-besarkan pembukaan mata.

Meja pengesahan membenderakan video yang dikatakan seorang CEO kerana rambut dan anting-anting kekal tegar secara pelik semasa muka bergerak, yang mencadangkan animasi foto tunggal.

Masa Depan Animasi Potret daripada Foto Tunggal

Avatar masa nyata untuk panggilan video, perkhidmatan pelanggan dan pendidikan menjadi praktikal, dan resapan prior menambah baik cara model mengisi kawasan yang tidak kelihatan seperti gigi dan paparan profil. Putaran kepala yang besar, rambut dan aksesori yang konsisten, dan kestabilan identiti jangka panjang kekal sukar. Kerana satu foto adalah input yang mencukupi, persetujuan dan pendedahan adalah kebimbangan utama. Alat pengesanan dan pelabelan asal sedang dibangunkan bersama penjana, tetapi tiada kaedah pengesanan yang cukup dipercayai dengan sendirinya.

Mempraktikkannya

Mengapa ia penting

  • Kelajuan dan skala. Visual AI boleh mengautomasikan tugas pemeriksaan, pengesanan dan penandaan pada skala.
  • Pilihan binaan. Pasukan kreatif boleh membuat prototaip konsep dengan lebih pantas dengan lebih sedikit semakan manual.
  • Pasukan dan aliran kerja. Operasi boleh menggunakan isyarat imej dan video yang sebelum ini sukar diproses.

Berhati-hati untuk

  • Hak imej dan persetujuan boleh menjadi risiko undang-undang jika asalnya tidak jelas.
  • Prestasi model boleh berbeza mengikut pencahayaan, demografi dan persekitaran.
  • Positif palsu mungkin tidak disedari melainkan ambang keyakinan dipantau.

Langkah seterusnya

  1. Tentukan kriteria penerimaan untuk ketepatan, ingatan semula dan kos ralat.
  2. Uji dengan data yang sepadan dengan keadaan pengeluaran sebenar.
  3. Tambahkan semakan manusia untuk ramalan keyakinan rendah atau berimpak tinggi.
  4. Jejaki hanyut model dan sahkan semula selepas perubahan kamera atau set data.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Take the Portrait Animation from a Single Photo quiz

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah Animasi Potret daripada Foto Tunggal?

Animasi potret daripada satu foto membuat pergerakan muka pegun, termasuk berpusing, berkelip, menukar ekspresi atau bercakap. Ia berfungsi dengan memindahkan gerakan daripada video memandu atau trek audio ke imej sumber. Ia menguasakan avatar bercakap, foto keluarga animasi dan video penyampai, dan ia menimbulkan kebimbangan persetujuan kerana satu foto awam adalah input yang mencukupi.

Bagaimanakah Model Pergerakan Pesanan Pertama memperolehi titik utamanya?

FOMM menemui titik kunci dengan cara yang tidak diselia. Itulah sebabnya ia boleh berfungsi pada muka dan pada kategori objek lain.

Apakah tujuan peta oklusi?

Peta oklusi memberitahu penjana kawasan mana yang tidak boleh datang daripada meledingkan sumber dan mesti diisi.

Apakah faedah pemindahan gerakan relatif?

Menggunakan cara titik kekunci pemanduan berubah, bukannya di mana ia berada, menghentikan geometri muka pemandu daripada menggantikan sumber.

Apakah yang diramalkan oleh SadTalker daripada audio?

SadTalker's ExpNet dan PoseVAE menghasilkan pekali 3DMM, yang kemudiannya ditukarkan oleh pemapar muka menjadi bingkai.

Apakah yang dilakukan oleh modul jahitan LivePortrait?

Modul jahitan memastikan pemangkasan animasi sejajar dengan imej asal yang lain apabila menampalnya kembali.