PANDUAN Aplikasi

ComfyUI dan Aliran Kerja Imej Berasaskan Nod

ComfyUI ialah aplikasi sumber terbuka percuma untuk menjalankan model penjanaan imej, video dan audio pada komputer anda sendiri.

Dengar panduan iniAI-diceritakan · ~3 min

Pada halaman ini4 minit membaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan ComfyUI dan Aliran Kerja Imej Berasaskan Nod
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Setiap langkah saluran paip, seperti memuatkan model, mengekod gesaan, pensampelan dan penyahkodan, ialah nod yang anda sambungkan dalam graf visual. Ini penting kerana ia menunjukkan dengan tepat cara penyebaran berfungsi, menjadikan aliran kerja yang kompleks boleh dihasilkan semula dan boleh dikongsi serta membolehkan orang ramai menjalankan model terbuka pada perkakasan mereka sendiri tanpa perkhidmatan awan.

Menyelam dalam

ComfyUI muncul pada awal 2023, dicipta oleh pembangun yang dikenali sebagai comfyanonymous. Ia telah menjadi salah satu antara muka yang paling banyak digunakan untuk model generatif terbuka, menyokong varian Stable Diffusion, Flux dan banyak model video dan audio. Daripada borang dengan peluncur, anda melihat saluran paip itu sendiri. Graf teks-ke-imej minimum menunjukkan setiap bahagian model resapan terpendam. Load Checkpoint mengeluarkan tiga perkara: model denoising, pengekod teks CLIP dan VAE. Dua nod Pengekodan Teks CLIP menukar gesaan positif dan negatif kepada pelaziman. Imej Terpendam Kosong mencipta kanvas hingar permulaan pada saiz yang dipilih. KSampler menjalankan gelung denoising menggunakan benih, kiraan langkah, skala panduan (CFG), pensampel dan penjadual. Penyahkod VAE menukar laten akhir kepada piksel dan Simpan Imej menulis fail. Melihat langkah-langkah ini secara berasingan menjadikan idea lain jelas. Imej-ke-imej, sebagai contoh, baru bermula daripada imej yang dikodkan dan menafikannya hanya separuh. Graf disimpan sebagai JSON dan dibenamkan dalam imej yang dihasilkannya, jadi hasil boleh dihasilkan semula. ComfyUI juga menyimpan cache hasil dan menjalankan semula hanya nod yang inputnya berubah, jadi mengedit gesaan tidak memuatkan semula model. Perkakasan adalah kekangan utama. GPU NVIDIA mempunyai sokongan terbaik. Sekitar 8 GB VRAM ialah minimum selesa yang biasa disebut untuk kerja kelas SDXL, dan model imej atau video yang lebih besar mendapat manfaat daripada 12 hingga 24 GB atau lebih, walaupun model terkuantisasi dan pemunggahan memori membantu. AMD, Intel dan Apple Silicon boleh berfungsi dengan persediaan tambahan dan kelajuan yang lebih rendah, dan penggunaan CPU sahaja adalah sangat perlahan. Nod tersuai memanjangkan ComfyUI dengan sangat besar, tetapi setiap satu ialah kod Python yang berjalan dengan kebenaran akaun pengguna anda. Terdapat kes yang dilaporkan bahawa pakej nod berniat jahat mencuri data. Pasang hanya nod yang terkenal dan diselenggara secara aktif, lebih suka fail model .safetensors berbanding fail .ckpt berasaskan jeruk dan pertimbangkan untuk menjalankan ComfyUI dalam persekitaran atau bekas yang berasingan.

Pelaksanaan Dunia Sebenar

Pereka bentuk menyeret PNG yang dibuat oleh rakan sekerja ke dalam ComfyUI dan aliran kerja penuh yang menciptanya dimuatkan secara automatik daripada metadata terbenam fail.

Seorang ilustrator membina graf yang menjana imej asas dengan SDXL, meningkatkan skala dan menjalankan hantaran denois rendah kedua untuk menambah butiran. Seluruh rantaian disimpan sebagai aliran kerja boleh guna semula.

Jurugambar menambah nod ControlNet yang mengikuti pose dalam foto rujukan, memastikan komposisi tetap semasa menukar gaya.

Pembangun menjalankan ComfyUI dalam mod API pada pelayan dan menghantar JSON aliran kerja daripada apl web untuk menjana mockup produk atas permintaan.

Masa Depan ComfyUI dan Aliran Kerja Imej Berasaskan Nod

ComfyUI telah beralih daripada alat penggemar ke arah masa jalan umum untuk model generatif terbuka, dengan apl desktop dan sokongan yang semakin meningkat untuk video dan 3D. Keselamatan di sekitar nod tersuai berkemungkinan kekal menjadi kebimbangan, dan lebih banyak tandatangan, semakan atau kotak pasir sambungan akan membantu. Graf nod boleh menakutkan pemula, jadi kerja pada bahagian hadapan yang dipermudahkan dan templat yang menyembunyikan graf sehingga diperlukan kemungkinan akan diteruskan. Keperluan perkakasan akan terus mengikut saiz model, manakala teknik kuantisasi dan ingatan terus mengembangkan perkara yang dijalankan pada GPU pengguna.

Mempraktikkannya

Mengapa ia penting

  • Pilihan binaan. Reka bentuk peringkat aplikasi menentukan sama ada AI meningkatkan hasil sebenar.
  • Pasukan dan aliran kerja. Penyepaduan aliran kerja yang baik menghasilkan keuntungan produktiviti yang boleh dipercayai oleh pengguna.
  • Risiko dan keselamatan. Kes penggunaan yang berskop dengan baik mengurangkan keletihan perubahan dan risiko pelaksanaan.

Berhati-hati untuk

  • Mengautomasikan proses yang rosak boleh menguatkan masalah sedia ada.
  • Pasukan mungkin terlalu mengautomasikan dan mengalih keluar pertimbangan manusia yang diperlukan.
  • Kualiti boleh hanyut jika output tidak dinilai secara berterusan.

Langkah seterusnya

  1. Petakan aliran kerja semasa dan kenal pasti langkah geseran tertinggi.
  2. Tentukan pusat pemeriksaan manusia sebelum automasi penuh.
  3. Latih pengguna mengenai gesaan, laluan peningkatan dan standard kualiti.
  4. Jejaki hasil peringkat tugasan untuk mengesahkan nilai yang berterusan.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Take the ComfyUI and Node-Based Image Workflows quiz

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah ComfyUI dan Aliran Kerja Imej Berasaskan Nod?

ComfyUI ialah aplikasi sumber terbuka percuma untuk menjalankan model penjanaan imej, video dan audio pada komputer anda sendiri. Setiap langkah saluran paip, seperti memuatkan model, mengekod gesaan, pensampelan dan penyahkodan, ialah nod yang anda sambungkan dalam graf visual. Ini penting kerana ia menunjukkan dengan tepat cara penyebaran berfungsi, menjadikan aliran kerja yang kompleks boleh dihasilkan semula dan boleh dikongsi serta membolehkan orang ramai menjalankan model terbuka pada perkakasan mereka sendiri tanpa perkhidmatan awan.

Nod yang manakah menjalankan gelung denoising dalam graf asas ComfyUI?

KSampler menjalankan denoising berulang menggunakan benih, langkah, skala CFG, pensampel dan penjadual.

Apakah tiga komponen yang memuatkan output Checkpoint?

Pusat pemeriksaan menggabungkan model denoising, pengekod teks yang menukar gesaan kepada pelaziman dan VAE yang menukar antara pendam dan piksel.

Bagaimanakah anda boleh memulihkan aliran kerja yang menghasilkan imej ComfyUI?

ComfyUI menyimpan JSON aliran kerja dalam imej yang dihasilkannya, jadi memuatkan imej membina semula graf.

Mengapakah menukar hanya gesaan tidak memuatkan semula model?

Pelaksana menyemak cache yang dikunci pada setiap input nod. Muatkan input Checkpoint tidak berubah, jadi ia dilangkau.

Apakah risiko keselamatan utama nod tersuai?

Nod tersuai boleh melakukan apa sahaja yang boleh dilakukan oleh akaun anda, itulah sebabnya terdapat kes yang dilaporkan mengenai pakej berniat jahat mencuri data.