PANDUAN AI Visual

Ketekalan Watak Merentas Imej AI

Konsistensi watak bermakna memastikan wajah, badan, rambut, pakaian dan gaya watak yang sama dapat dikenali merentas banyak imej dan adegan yang dijana AI.

Dengar panduan iniAI-diceritakan · ~3 min

Pada halaman ini4 minit membaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan Konsistensi Watak Merentas Imej AI
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Gesaan teks sahaja tidak dapat melakukan ini dengan pasti, jadi pencipta menggunakan imej rujukan, LoRA watak dan pengekod identiti. Ia penting untuk komik, papan cerita, buku bergambar dan maskot jenama, di mana pembaca mesti mengenali satu watak dari bingkai ke bingkai.

Menyelam dalam

Gesaan sahaja gagal kerana setiap generasi bermula daripada bunyi rawak yang segar, dan perihalan seperti "wanita berambut merah pendek dan jaket hijau" sesuai dengan berjuta-juta wajah yang berbeza. Walaupun dengan benih tetap, menukar gesaan mengubah laluan denoising, jadi muka juga berubah. Pengamal menggunakan tiga keluarga teknik utama. Pengkondisian imej rujukan menghantar satu atau lebih imej watak melalui pengekod imej dan menyuntik ciri yang terhasil bersama teks. Penyesuai IP (Tencent, 2023) ialah contoh terbuka yang digunakan secara meluas dan Midjourney menambah parameter rujukan aksara pada tahun 2024. Ia tidak memerlukan latihan dan menangkap rupa keseluruhan dengan baik. Butiran halus seperti tatu, barang kemas dan corak bercetak cenderung hanyut, dan berat rujukan yang tinggi juga boleh menyalin pose dan pencahayaan rujukan. LoRA watak, dan kaedah DreamBooth yang berkaitan, memperhalusi model pada set imej watak (selalunya 10 hingga 30 atau lebih) dan mengikat hasilnya pada token pencetus yang jarang berlaku. Ini biasanya pilihan yang paling setia untuk reka bentuk yang kompleks, termasuk pakaian dan watak bukan manusia. Kos adalah masa latihan dan dua mod kegagalan. LoRA overfit mengulangi pose, ekspresi atau latar belakang dari set latihannya. Seseorang yang kurang sihat kehilangan identiti. Menggunakan dua aksara LoRA dalam satu imej selalunya menggabungkan ciri mereka. Pengekod identiti seperti InstantID, PhotoMaker dan IP-Adapter FaceID mengekstrak benam gaya pengecaman muka daripada satu foto. Mereka mengekalkan identiti muka dengan kuat, tetapi hanya muka: rambut, pakaian dan bentuk badan tidak dikunci. Mereka juga bergelut dengan watak bergaya atau kartun, kerana pengecam muka di belakang mereka dilatih pada gambar sebenar. Model imej multimodal yang lebih baharu boleh mengambil imej sebagai konteks dan mengikut arahan edit seperti "watak yang sama, kini duduk." Kesalahpahaman biasa ialah mana-mana satu kaedah menyelesaikan konsistensi. Dalam amalan, adegan dengan beberapa watak masih mengalirkan atribut antara mereka, dan kebanyakan aliran kerja profesional menggabungkan kaedah dan kemudian membetulkan baki hanyut dengan tangan.

Pelaksanaan Dunia Sebenar

Seorang ilustrator buku bergambar melatih watak LoRA pada kira-kira 20 lukisan wira musang yang diluluskan, kemudian meletakkan perkataan pencetusnya dalam setiap gesaan halaman supaya tanda musang dan selendang hijau kekal sama.

Artis papan cerita menyuapkan satu tangkapan kepala ke dalam pengekod identiti seperti InstantID untuk meletakkan wajah yang sama kepada dua belas tangkapan dengan sudut kamera dan pencahayaan yang berbeza.

Pasukan pemasaran menggunakan ciri imej rujukan untuk mengekalkan rupa maskot sambil menukar latar belakang bermusim, kemudian membetulkan logo yang hanyut pada baju maskot dengan melukisnya.

Pencipta komik membuat helaian watak dengan pandangan hadapan, sisi dan belakang, kemudian memberikannya kepada editor imej yang mengikut arahan dan meminta pose baharu dalam pakaian yang sama.

Masa Depan Konsistensi Watak Merentas Imej AI

Model imej yang menerima imej rujukan dalam konteks dan mengikut arahan pengeditan bertambah baik dengan cepat, yang mengurangkan keperluan untuk melatih LoRA tersuai untuk projek mudah. Mengekalkan beberapa watak yang berbeza stabil dalam satu adegan, memegang butiran pakaian yang tepat dan kekal konsisten dalam gaya seni yang sangat berbeza tetap menjadi masalah terbuka. Apabila penjanaan video semakin matang, cabaran yang sama menjangkau masa, di mana identiti perlu mengekalkan bingkai ke bingkai. Hak persetujuan dan keserupaan akan lebih penting kerana pengekod identiti memudahkan untuk menggunakan semula wajah orang sebenar daripada satu foto.

Mempraktikkannya

Mengapa ia penting

  • Kelajuan dan skala. Visual AI boleh mengautomasikan tugas pemeriksaan, pengesanan dan penandaan pada skala.
  • Pilihan binaan. Pasukan kreatif boleh membuat prototaip konsep dengan lebih pantas dengan lebih sedikit semakan manual.
  • Pasukan dan aliran kerja. Operasi boleh menggunakan isyarat imej dan video yang sebelum ini sukar diproses.

Berhati-hati untuk

  • Hak imej dan persetujuan boleh menjadi risiko undang-undang jika asalnya tidak jelas.
  • Prestasi model boleh berbeza mengikut pencahayaan, demografi dan persekitaran.
  • Positif palsu mungkin tidak disedari melainkan ambang keyakinan dipantau.

Langkah seterusnya

  1. Tentukan kriteria penerimaan untuk ketepatan, ingatan semula dan kos ralat.
  2. Uji dengan data yang sepadan dengan keadaan pengeluaran sebenar.
  3. Tambahkan semakan manusia untuk ramalan keyakinan rendah atau berimpak tinggi.
  4. Jejaki hanyut model dan sahkan semula selepas perubahan kamera atau set data.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Ambil kuiz Konsistensi Karakter Melalui Imej AI

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah Konsistensi Watak Merentas Imej AI?

Konsistensi watak bermakna memastikan wajah, badan, rambut, pakaian dan gaya watak yang sama dapat dikenali merentas banyak imej dan adegan yang dijana AI. Gesaan teks sahaja tidak dapat melakukan ini dengan pasti, jadi pencipta menggunakan imej rujukan, LoRA watak dan pengekod identiti. Ia penting untuk komik, papan cerita, buku bergambar dan maskot jenama, di mana pembaca mesti mengenali satu watak dari bingkai ke bingkai.

Mengapakah menggunakan semula benih yang sama tidak menjamin watak yang sama sebaik sahaja perubahan segera?

Seed seed membetulkan bunyi mula, tetapi gesaan mengemudi setiap langkah denoising. Tukar gesaan dan laluan berubah, jadi wajah juga.

Teknik manakah yang melatih kemas kini berat kecil pada set imej dan mengikatnya dengan token pencetus?

LoRA watak memperhalusi kemas kini berat peringkat rendah pada 10 hingga 30 atau lebih imej watak dan mengikatnya pada token pencetus yang jarang berlaku.

Apakah had utama pengekod identiti wajah seperti InstantID?

Pengekod identiti mengekstrak ciri muka daripada satu foto. Tiada apa-apa di luar muka yang terkunci, jadi pakaian dan rambut boleh hanyut.

Bagaimanakah Penyesuai IP menyuntik imej rujukan ke dalam generasi?

Penyesuai IP menambah kunci imej dan unjuran nilai yang berasingan. Output perhatian mereka diskalakan dan ditambah pada output perhatian silang teks.

Watak LoRA terus menghasilkan pose dan latar belakang yang sama seperti imej latihannya. Apakah punca yang berkemungkinan?

LoRA yang overfit telah menghafal ciri sampingan set latihannya, seperti pose dan latar belakang, serta watak.