คู่มือแอปพลิเคชัน
ComfyUI และเวิร์กโฟลว์อิมเมจแบบอิงโหนด
ComfyUI เป็นแอปพลิเคชันโอเพ่นซอร์สฟรีสำหรับการเรียกใช้โมเดลการสร้างภาพ วิดีโอ และเสียงบนคอมพิวเตอร์ของคุณเอง
ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min
บนหน้านี้อ่าน 4 นาที
ภาพรวม
แต่ละขั้นตอนของไปป์ไลน์ เช่น การโหลดโมเดล การเข้ารหัสข้อความแจ้ง การสุ่มตัวอย่าง และการถอดรหัส จะเป็นโหนดที่คุณเชื่อมต่อในกราฟภาพ สิ่งสำคัญเนื่องจากแสดงให้เห็นอย่างชัดเจนถึงวิธีการทำงานของการแพร่กระจาย ทำให้เวิร์กโฟลว์ที่ซับซ้อนสามารถทำซ้ำและแบ่งปันได้ และช่วยให้ผู้คนเรียกใช้โมเดลแบบเปิดบนฮาร์ดแวร์ของตนเองโดยไม่ต้องใช้บริการคลาวด์
เจาะลึก
ComfyUI ปรากฏในต้นปี 2023 สร้างโดยนักพัฒนาที่รู้จักกันในชื่อ Comfyanonymous ได้กลายเป็นหนึ่งในอินเทอร์เฟซที่ใช้กันอย่างแพร่หลายสำหรับโมเดล open generative โดยรองรับตัวแปร Stable Diffusion, Flux และโมเดลวิดีโอและเสียงอีกมากมาย แทนที่จะเป็นแบบฟอร์มที่มีแถบเลื่อน คุณจะเห็นไปป์ไลน์เอง กราฟข้อความเป็นรูปภาพขั้นต่ำจะแสดงแต่ละส่วนของแบบจำลองการแพร่กระจายแฝง Load Checkpoint ส่งออกสามสิ่ง: โมเดล denoising, ตัวเข้ารหัสข้อความ CLIP และ VAE โหนดเข้ารหัสข้อความ CLIP สองโหนดจะเปลี่ยนข้อความแจ้งเชิงบวกและเชิงลบให้เป็นเงื่อนไข รูปภาพแฝงที่ว่างเปล่าจะสร้างผืนผ้าใบสัญญาณรบกวนเริ่มต้นตามขนาดที่เลือก KSampler รันลูป denoising โดยใช้ข้อมูลเริ่มต้น การนับก้าว สเกลคำแนะนำ (CFG) เครื่องเก็บตัวอย่าง และเครื่องกำหนดเวลา VAE Decode จะแปลงค่าแฝงสุดท้ายเป็นพิกเซล และ Save Image จะเขียนไฟล์ การดูขั้นตอนเหล่านี้แยกกันจะทำให้แนวคิดอื่นๆ ชัดเจน ตัวอย่างเช่น ภาพต่อภาพเป็นเพียงการเริ่มต้นจากภาพที่เข้ารหัสและ denoise เพียงบางส่วนเท่านั้น กราฟจะถูกบันทึกเป็น JSON และฝังอยู่ในรูปภาพที่สร้างขึ้น ดังนั้นจึงสามารถสร้างผลลัพธ์ขึ้นมาใหม่ได้ นอกจากนี้ ComfyUI ยังแคชผลลัพธ์และรันซ้ำเฉพาะโหนดที่อินพุตมีการเปลี่ยนแปลง ดังนั้นการแก้ไขพร้อมต์จะไม่รีโหลดโมเดล ฮาร์ดแวร์เป็นข้อจำกัดหลัก GPU NVIDIA มีการรองรับที่ดีที่สุด VRAM ประมาณ 8 GB เป็นขั้นต่ำที่สะดวกสบายที่อ้างถึงโดยทั่วไปสำหรับงานคลาส SDXL และโมเดลรูปภาพหรือวิดีโอขนาดใหญ่จะได้รับประโยชน์ตั้งแต่ 12 ถึง 24 GB หรือมากกว่า แม้ว่าโมเดลเชิงปริมาณและการถ่ายหน่วยความจำจะช่วยได้ก็ตาม AMD, Intel และ Apple Silicon สามารถทำงานได้โดยมีการตั้งค่าเพิ่มเติมและความเร็วที่ต่ำกว่า และการใช้งานเฉพาะ CPU เท่านั้นก็ช้ามาก โหนดที่กำหนดเองขยาย ComfyUI อย่างมหาศาล แต่แต่ละโหนดคือโค้ด Python ที่ทำงานโดยมีสิทธิ์อนุญาตของบัญชีผู้ใช้ของคุณ มีรายงานกรณีแพ็คเกจโหนดที่เป็นอันตรายขโมยข้อมูล ติดตั้งเฉพาะโหนดที่เป็นที่รู้จักและได้รับการดูแลอย่างดี ชอบไฟล์โมเดล .safetensors มากกว่าไฟล์ .ckpt ที่ใช้ดอง และพิจารณาเรียกใช้ ComfyUI ในสภาพแวดล้อมหรือคอนเทนเนอร์ที่แยกจากกัน
การใช้งานจริงในโลกแห่งความเป็นจริง
นักออกแบบลาก PNG ที่สร้างโดยเพื่อนร่วมงานลงใน ComfyUI และขั้นตอนการทำงานทั้งหมดที่สร้างขึ้นจะโหลดโดยอัตโนมัติจากข้อมูลเมตาที่ฝังอยู่ในไฟล์
นักวาดภาพประกอบสร้างกราฟที่สร้างภาพพื้นฐานด้วย SDXL ขยายขนาดและรันการส่งผ่านความละเอียดต่ำครั้งที่สองเพื่อเพิ่มรายละเอียด ห่วงโซ่ทั้งหมดจะถูกบันทึกเป็นเวิร์กโฟลว์ที่นำมาใช้ซ้ำได้
ช่างภาพเพิ่มโหนด ControlNet ที่ติดตามท่าทางในรูปภาพอ้างอิง โดยคงองค์ประกอบไว้ในขณะที่เปลี่ยนสไตล์
นักพัฒนารัน ComfyUI ในโหมด API บนเซิร์ฟเวอร์ และส่ง JSON เวิร์กโฟลว์จากเว็บแอปเพื่อสร้างการจำลองผลิตภัณฑ์ตามความต้องการ
อนาคตของ ComfyUI และเวิร์กโฟลว์อิมเมจแบบอิงโหนด
ComfyUI ได้ย้ายจากเครื่องมืองานอดิเรกไปสู่รันไทม์ทั่วไปสำหรับโมเดล open generative พร้อมด้วยแอปเดสก์ท็อปและการรองรับวิดีโอและ 3D ที่เพิ่มมากขึ้น การรักษาความปลอดภัยรอบโหนดแบบกำหนดเองมีแนวโน้มที่จะยังคงเป็นข้อกังวล และการลงนาม ตรวจสอบ หรือแซนด์บ็อกซ์ส่วนขยายเพิ่มเติมก็จะช่วยได้ กราฟโหนดสามารถข่มขู่ผู้เริ่มต้นได้ ดังนั้นการทำงานกับส่วนหน้าแบบเรียบง่ายและเทมเพลตที่ซ่อนกราฟจนกว่าจะจำเป็นจะดำเนินต่อไปได้ ข้อกำหนดด้านฮาร์ดแวร์จะคงขนาดโมเดลไว้ตามเดิม ในขณะที่เทคนิคเชิงปริมาณและหน่วยความจำจะขยายสิ่งที่ทำงานบน GPU ของผู้บริโภคต่อไป
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- สร้างทางเลือก. การออกแบบระดับแอปพลิเคชันจะกำหนดว่า AI จะปรับปรุงผลลัพธ์ที่แท้จริงหรือไม่
- ทีมงานและขั้นตอนการทำงาน. การบูรณาการขั้นตอนการทำงานที่ดีจะช่วยเพิ่มผลผลิตที่ผู้ใช้ไว้วางใจได้
- ความเสี่ยงและความปลอดภัย. กรณีการใช้งานที่มีขอบเขตดีจะช่วยลดความเหนื่อยล้าของการเปลี่ยนแปลงและความเสี่ยงในการดำเนินการ
ระวัง
- การทำให้กระบวนการที่เสียหายเป็นอัตโนมัติสามารถขยายปัญหาที่มีอยู่ได้
- ทีมอาจดำเนินการอัตโนมัติมากเกินไปและลบวิจารณญาณของมนุษย์ที่จำเป็นออก
- คุณภาพอาจคลาดเคลื่อนได้หากไม่ได้รับการประเมินผลลัพธ์อย่างต่อเนื่อง
ขั้นตอนต่อไป
- แมปขั้นตอนการทำงานปัจจุบันและระบุขั้นตอนที่มีแรงเสียดทานสูงสุด
- กำหนดจุดตรวจของมนุษย์ก่อนระบบอัตโนมัติเต็มรูปแบบ
- ฝึกอบรมผู้ใช้เกี่ยวกับการแจ้งเตือน เส้นทางการยกระดับ และมาตรฐานคุณภาพ
- ติดตามผลลัพธ์ระดับงานเพื่อยืนยันคุณค่าที่ยั่งยืน
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the ComfyUI and Node-Based Image Workflows quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
ComfyUI และเวิร์กโฟลว์อิมเมจแบบอิงโหนดคืออะไร
ComfyUI เป็นแอปพลิเคชันโอเพ่นซอร์สฟรีสำหรับการเรียกใช้โมเดลการสร้างภาพ วิดีโอ และเสียงบนคอมพิวเตอร์ของคุณเอง แต่ละขั้นตอนของไปป์ไลน์ เช่น การโหลดโมเดล การเข้ารหัสข้อความแจ้ง การสุ่มตัวอย่าง และการถอดรหัส จะเป็นโหนดที่คุณเชื่อมต่อในกราฟภาพ สิ่งสำคัญเนื่องจากแสดงให้เห็นอย่างชัดเจนถึงวิธีการทำงานของการแพร่กระจาย ทำให้เวิร์กโฟลว์ที่ซับซ้อนสามารถทำซ้ำและแบ่งปันได้ และช่วยให้ผู้คนเรียกใช้โมเดลแบบเปิดบนฮาร์ดแวร์ของตนเองโดยไม่ต้องใช้บริการคลาวด์
โหนดใดที่รันลูป denoising ในกราฟ ComfyUI พื้นฐาน
KSampler ดำเนินการ denoising ซ้ำโดยใช้ข้อมูลเริ่มต้น ขั้นตอน สเกล CFG ตัวอย่าง และเครื่องกำหนดเวลา
Load Checkpoint เอาท์พุตมีส่วนประกอบอะไรบ้าง
จุดตรวจสอบจะรวมโมเดล denoising ตัวเข้ารหัสข้อความที่เปลี่ยนข้อความแจ้งเป็นการปรับสภาพ และ VAE ที่แปลงระหว่างค่าแฝงและพิกเซล
คุณจะกู้คืนเวิร์กโฟลว์ที่สร้างอิมเมจ ComfyUI ได้อย่างไร
ComfyUI บันทึกเวิร์กโฟลว์ JSON ภายในรูปภาพที่สร้างขึ้น ดังนั้นการโหลดรูปภาพจะสร้างกราฟขึ้นมาใหม่
เหตุใดการเปลี่ยนเฉพาะพรอมต์จึงไม่โหลดโมเดลซ้ำ
ผู้ดำเนินการตรวจสอบแคชที่คีย์ไว้ในอินพุตของแต่ละโหนด ข้อมูลอินพุตของ Checkpoint โหลดไม่มีการเปลี่ยนแปลง ดังนั้นจึงถูกข้ามไป
ความเสี่ยงด้านความปลอดภัยหลักของโหนดแบบกำหนดเองคืออะไร?
โหนดที่กำหนดเองสามารถทำทุกอย่างที่บัญชีของคุณสามารถทำได้ ซึ่งเป็นสาเหตุว่าทำไมจึงมีการรายงานกรณีแพ็คเกจที่เป็นอันตรายขโมยข้อมูล
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้