Alkalmazási ÚTMUTATÓ

ComfyUI és csomópont-alapú képmunkafolyamatok

A ComfyUI egy ingyenes, nyílt forráskódú alkalmazás kép-, videó- és hanggeneráló modellek futtatásához saját számítógépén.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon4 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A ComfyUI és a csomópont-alapú képmunkafolyamatok jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

A folyamat minden egyes lépése, mint például a modell betöltése, a prompt kódolása, a mintavételezés és a dekódolás, egy csomópont, amelyet egy vizuális grafikonon csatlakoztat. Ez azért fontos, mert pontosan megmutatja, hogyan működik a diffúzió, reprodukálhatóvá és megoszthatóvá teszi az összetett munkafolyamatokat, és lehetővé teszi az emberek számára, hogy felhőszolgáltatás nélkül futtassák a nyílt modelleket saját hardverükön.

Mély merülés

A ComfyUI 2023 elején jelent meg, egy comfyanonymous néven ismert fejlesztő által. A nyílt generatív modellek egyik legszélesebb körben használt interfészévé vált, amely támogatja a Stable Diffusion változatokat, a Fluxot és számos videó- ​​és audiomodellt. A csúszkákkal ellátott űrlap helyett magát a folyamatot látja. Egy minimális szöveg-kép grafikon a látens diffúziós modell minden részét mutatja. A Load Checkpoint három dolgot ad ki: a zajtalanító modellt, a CLIP szövegkódolót és a VAE-t. Két CLIP Text Encode csomópont kondicionálássá alakítja a pozitív és negatív promptokat. Az Empty Latent Image létrehozza a kiindulási zajvásznat a kiválasztott méretben. A KSampler lefuttatja a zajcsillapító hurkot a mag, lépésszámláló, irányítási (CFG) skála, mintavevő és ütemező segítségével. A VAE Decode a végső látenst képpontokká alakítja, a Kép mentése pedig írja a fájlt. Ha ezeket a lépéseket külön-külön látjuk, akkor más gondolatok is egyértelművé válnak. A képről képre például csak egy kódolt képből indul ki, és csak részben csillapítja azt. A grafikonokat a rendszer JSON-ként menti, és beágyazza az általuk létrehozott képekbe, így az eredmények reprodukálhatók. A ComfyUI az eredményeket is gyorsítótárazza, és csak azokat a csomópontokat futtatja újra, amelyek bemenetei megváltoztak, így a prompt szerkesztése nem tölti be újra a modellt. A hardver a fő korlát. A NVIDIA GPU-k rendelkeznek a legjobb támogatással. Körülbelül 8 GB VRAM az általánosan emlegetett, kényelmes minimum az SDXL-osztályú munkákhoz, a nagyobb kép- vagy videómodellek pedig 12-24 GB-ot vagy még többet fogyasztanak, bár a kvantált modellek és a memória kiürítése segít. Az AMD, az Intel és a Apple Silicon extra beállítással és alacsonyabb sebességgel tud működni, a csak CPU használata pedig nagyon lassú. Az egyéni csomópontok óriási mértékben kiterjesztik a ComfyUI-t, de mindegyik Python kód, amely a felhasználói fiók engedélyeivel fut. Beszámoltak olyan esetekről, amikor rosszindulatú csomóponti csomagok loptak el adatokat. Csak jól ismert, aktívan karbantartott csomópontokat telepítsen, előnyben részesítse a .safetensors modellfájlokat a pác-alapú .ckpt fájlokkal szemben, és fontolja meg a ComfyUI külön környezetben vagy tárolóban való futtatását.

Valós megvalósítás

A tervező áthúzza a kollégája által készített PNG-t a ComfyUI fájlba, és az azt létrehozó teljes munkafolyamat automatikusan betöltődik a fájl beágyazott metaadataiból.

Az illusztrátor összeállít egy grafikont, amely létrehoz egy alapképet SDXL-lel, felskálázza, és lefuttat egy második alacsony zajszintű lépést a részletek hozzáadásához. A teljes lánc újrafelhasználható munkafolyamatként kerül mentésre.

A fotós egy ControlNet-csomópontot ad hozzá, amely követi a referenciafotó pózát, rögzítve a kompozíciót, miközben megváltoztatja a stílust.

A fejlesztő API módban futtatja a ComfyUI-t egy szerveren, és munkafolyamat JSON-fájlt küld egy webalkalmazásból, hogy igény szerint termékmaketteket állítson elő.

A ComfyUI és a csomópont-alapú képmunkafolyamatok jövője

A ComfyUI a hobbieszközről a nyílt generatív modellek általános futtatókörülményei felé mozdult el, egy asztali alkalmazással, valamint a videó és a 3D növekvő támogatásával. Az egyéni csomópontok körüli biztonság valószínűleg továbbra is aggodalomra ad okot, és a bővítmények több aláírása, felülvizsgálata vagy homokozóba helyezése segítene. A csomóponti grafikonok megfélemlíthetik a kezdőket, ezért valószínűleg folytatódni fog az egyszerűsített kezelőfelületek és sablonok, amelyek elrejtik a grafikont, amíg nincs rá szükség. A hardverkövetelmények továbbra is követni fogják a modellméreteket, míg a kvantálási és memóriatechnikák folyamatosan bővítik a fogyasztói GPU-kon futó mennyiséget.

A gyakorlatba ültetés

Miért számít

  • Építési lehetőségek. Az alkalmazásszintű tervezés határozza meg, hogy az AI javítja-e a valós eredményeket.
  • Csapat és munkafolyamat. A jó munkafolyamat-integráció olyan termelékenységnövekedést eredményez, amelyben a felhasználók megbízhatnak.
  • Kockázat és biztonság. A jól körülhatárolt felhasználási esetek csökkentik a változtatások fáradtságát és a végrehajtás kockázatát.

Vigyázz

  • Egy megszakadt folyamat automatizálása felerősítheti a meglévő problémákat.
  • A csapatok túlautomatizálhatják és eltávolíthatják a szükséges emberi ítélőképességet.
  • A minőség sodródhat, ha a kimeneteket nem értékelik folyamatosan.

Következő lépések

  1. Térképezze fel az aktuális munkafolyamatot, és határozza meg a legnagyobb súrlódású lépést.
  2. Emberi ellenőrzőpontok meghatározása a teljes automatizálás előtt.
  3. Tanítsa meg a felhasználókat az utasításokról, az eszkalációs utakról és a minőségi szabványokról.
  4. Kövesse nyomon a feladat szintű eredményeket a tartós érték megerősítéséhez.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the ComfyUI and Node-Based Image Workflows quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a ComfyUI és a csomópont-alapú képmunkafolyamatok?

A ComfyUI egy ingyenes, nyílt forráskódú alkalmazás kép-, videó- és hanggeneráló modellek futtatásához saját számítógépén. A folyamat minden egyes lépése, mint például a modell betöltése, a prompt kódolása, a mintavételezés és a dekódolás, egy csomópont, amelyet egy vizuális grafikonon csatlakoztat. Ez azért fontos, mert pontosan megmutatja, hogyan működik a diffúzió, reprodukálhatóvá és megoszthatóvá teszi az összetett munkafolyamatokat, és lehetővé teszi az emberek számára, hogy felhőszolgáltatás nélkül futtassák a nyílt modelleket saját hardverükön.

Melyik csomópont futtatja a zajtalanító hurkot egy alap ComfyUI gráfban?

A KSampler az iteratív zajcsökkentést a mag, lépések, CFG skála, mintavevő és ütemező segítségével futtatja.

Milyen három összetevőt ad ki a Load Checkpoint?

Egy ellenőrzőpont köti össze a zajcsökkentő modellt, a szövegkódolót, amely a promptokat kondicionálássá alakítja, és a VAE-t, amely a látensek és a pixelek között konvertál.

Hogyan állíthatja helyre a ComfyUI képet létrehozó munkafolyamatot?

A ComfyUI elmenti a munkafolyamat JSON-ját az általa előállított képeken belül, így a kép betöltése újraépíti a grafikont.

Miért csak a prompt megváltoztatása nem tölti be újra a modellt?

A végrehajtó ellenőrzi az egyes csomópontok bemeneteire kulcsolt gyorsítótárat. A Load Checkpoint bemenetei nem változtak, ezért kimarad.

Mi az egyéni csomópontok fő biztonsági kockázata?

Egy egyéni csomópont bármire képes, amire a fiókja képes, ezért számoltak be olyan esetekről, amikor rosszindulatú csomagok adatokat loptak el.