SeterusnyaPanduan seterusnya
Ketekalan Temporal dan Kelipan dalam Video AI
AI Visual
PANDUAN AI Visual
Konsistensi watak bermakna memastikan wajah, badan, rambut, pakaian dan gaya watak yang sama dapat dikenali merentas banyak imej dan adegan yang dijana AI.
Dengar panduan iniAI-diceritakan · ~3 min
Gesaan teks sahaja tidak dapat melakukan ini dengan pasti, jadi pencipta menggunakan imej rujukan, LoRA watak dan pengekod identiti. Ia penting untuk komik, papan cerita, buku bergambar dan maskot jenama, di mana pembaca mesti mengenali satu watak dari bingkai ke bingkai.
Gesaan sahaja gagal kerana setiap generasi bermula daripada bunyi rawak yang segar, dan perihalan seperti "wanita berambut merah pendek dan jaket hijau" sesuai dengan berjuta-juta wajah yang berbeza. Walaupun dengan benih tetap, menukar gesaan mengubah laluan denoising, jadi muka juga berubah. Pengamal menggunakan tiga keluarga teknik utama. Pengkondisian imej rujukan menghantar satu atau lebih imej watak melalui pengekod imej dan menyuntik ciri yang terhasil bersama teks. Penyesuai IP (Tencent, 2023) ialah contoh terbuka yang digunakan secara meluas dan Midjourney menambah parameter rujukan aksara pada tahun 2024. Ia tidak memerlukan latihan dan menangkap rupa keseluruhan dengan baik. Butiran halus seperti tatu, barang kemas dan corak bercetak cenderung hanyut, dan berat rujukan yang tinggi juga boleh menyalin pose dan pencahayaan rujukan. LoRA watak, dan kaedah DreamBooth yang berkaitan, memperhalusi model pada set imej watak (selalunya 10 hingga 30 atau lebih) dan mengikat hasilnya pada token pencetus yang jarang berlaku. Ini biasanya pilihan yang paling setia untuk reka bentuk yang kompleks, termasuk pakaian dan watak bukan manusia. Kos adalah masa latihan dan dua mod kegagalan. LoRA overfit mengulangi pose, ekspresi atau latar belakang dari set latihannya. Seseorang yang kurang sihat kehilangan identiti. Menggunakan dua aksara LoRA dalam satu imej selalunya menggabungkan ciri mereka. Pengekod identiti seperti InstantID, PhotoMaker dan IP-Adapter FaceID mengekstrak benam gaya pengecaman muka daripada satu foto. Mereka mengekalkan identiti muka dengan kuat, tetapi hanya muka: rambut, pakaian dan bentuk badan tidak dikunci. Mereka juga bergelut dengan watak bergaya atau kartun, kerana pengecam muka di belakang mereka dilatih pada gambar sebenar. Model imej multimodal yang lebih baharu boleh mengambil imej sebagai konteks dan mengikut arahan edit seperti "watak yang sama, kini duduk." Kesalahpahaman biasa ialah mana-mana satu kaedah menyelesaikan konsistensi. Dalam amalan, adegan dengan beberapa watak masih mengalirkan atribut antara mereka, dan kebanyakan aliran kerja profesional menggabungkan kaedah dan kemudian membetulkan baki hanyut dengan tangan.
Seorang ilustrator buku bergambar melatih watak LoRA pada kira-kira 20 lukisan wira musang yang diluluskan, kemudian meletakkan perkataan pencetusnya dalam setiap gesaan halaman supaya tanda musang dan selendang hijau kekal sama.
Artis papan cerita menyuapkan satu tangkapan kepala ke dalam pengekod identiti seperti InstantID untuk meletakkan wajah yang sama kepada dua belas tangkapan dengan sudut kamera dan pencahayaan yang berbeza.
Pasukan pemasaran menggunakan ciri imej rujukan untuk mengekalkan rupa maskot sambil menukar latar belakang bermusim, kemudian membetulkan logo yang hanyut pada baju maskot dengan melukisnya.
Pencipta komik membuat helaian watak dengan pandangan hadapan, sisi dan belakang, kemudian memberikannya kepada editor imej yang mengikut arahan dan meminta pose baharu dalam pakaian yang sama.
Model imej yang menerima imej rujukan dalam konteks dan mengikut arahan pengeditan bertambah baik dengan cepat, yang mengurangkan keperluan untuk melatih LoRA tersuai untuk projek mudah. Mengekalkan beberapa watak yang berbeza stabil dalam satu adegan, memegang butiran pakaian yang tepat dan kekal konsisten dalam gaya seni yang sangat berbeza tetap menjadi masalah terbuka. Apabila penjanaan video semakin matang, cabaran yang sama menjangkau masa, di mana identiti perlu mengekalkan bingkai ke bingkai. Hak persetujuan dan keserupaan akan lebih penting kerana pengekod identiti memudahkan untuk menggunakan semula wajah orang sebenar daripada satu foto.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Konsistensi watak bermakna memastikan wajah, badan, rambut, pakaian dan gaya watak yang sama dapat dikenali merentas banyak imej dan adegan yang dijana AI. Gesaan teks sahaja tidak dapat melakukan ini dengan pasti, jadi pencipta menggunakan imej rujukan, LoRA watak dan pengekod identiti. Ia penting untuk komik, papan cerita, buku bergambar dan maskot jenama, di mana pembaca mesti mengenali satu watak dari bingkai ke bingkai.
Seed seed membetulkan bunyi mula, tetapi gesaan mengemudi setiap langkah denoising. Tukar gesaan dan laluan berubah, jadi wajah juga.
LoRA watak memperhalusi kemas kini berat peringkat rendah pada 10 hingga 30 atau lebih imej watak dan mengikatnya pada token pencetus yang jarang berlaku.
Pengekod identiti mengekstrak ciri muka daripada satu foto. Tiada apa-apa di luar muka yang terkunci, jadi pakaian dan rambut boleh hanyut.
Penyesuai IP menambah kunci imej dan unjuran nilai yang berasingan. Output perhatian mereka diskalakan dan ditambah pada output perhatian silang teks.
LoRA yang overfit telah menghafal ciri sampingan set latihannya, seperti pose dan latar belakang, serta watak.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Ketekalan Temporal dan Kelipan dalam Video AI
AI Visual