概述
管道的每個步驟(例如載入模型、編碼提示、取樣和解碼)都是您在視覺化圖中連接的節點。這很重要,因為它準確地展示了擴散的工作原理,使複雜的工作流程可重複和可共享,並允許人們在自己的硬體上運行開放模型,而無需雲端服務。
深入探討
ComfyUI 出現於 2023 年初,由名為 comfyanonymous 的開發者創建。它已成為開放生成模型使用最廣泛的介面之一,支援 Stable Diffusion 變體、Flux 以及許多視訊和音訊模型。您看到的不是帶有滑塊的表單,而是管道本身。最小的文字到圖像圖顯示了潛在擴散模型的每個部分。 Load Checkpoint 輸出三樣東西:去噪模型、CLIP 文字編碼器和 VAE。兩個 CLIP Text Encode 節點將正面和負面的提示轉化為條件。空潛在影像以選定的大小建立起始雜訊畫布。 KSampler 使用種子、步數、指導 (CFG) 規模、取樣器和調度器運行去噪循環。 VAE Decode 將最終的 Latent 轉換為像素,Save Image 寫入檔案。單獨查看這些步驟可以使其他想法變得清晰。例如,圖像到圖像只是從編碼圖像開始,並僅對其進行部分去噪。圖形保存為 JSON 並嵌入到它們生成的圖像中,因此可以重現結果。 ComfyUI 也會快取結果並僅重新執行輸入發生變更的節點,因此編輯提示不會重新載入模型。硬體是主要限制。 NVIDIA GPU 擁有最好的支援。大約 8 GB 的 VRAM 是人們普遍認為的 SDXL 等級工作舒適的最低配置,較大的影像或視訊模型受益於 12 到 24 GB 或更多,儘管量化模型和記憶體卸載有所幫助。 AMD、Intel 和 Apple Silicon 可以在額外的設定和較低的速度下工作,並且僅使用 CPU 非常慢。自訂節點大幅擴展了 ComfyUI,但每個節點都是以您的使用者帳戶權限運行的 Python 程式碼。已有惡意節點包竊取資料的報告。僅安裝眾所周知的、積極維護的節點,更喜歡 .safetensors 模型文件而不是基於 pickle 的 .ckpt 文件,並考慮在單獨的環境或容器中運行 ComfyUI。
現實世界的實施
設計人員將同事製作的 PNG 拖曳到 ComfyUI 中,建立它的完整工作流程會從檔案的嵌入元資料中自動載入。
插畫家建立一個圖表,使用 SDXL 產生基本影像,對其進行放大並運行第二次低雜訊通道以添加細節。整個鏈被保存為可重複使用的工作流程。
攝影師添加一個 ControlNet 節點,該節點跟隨參考照片中的姿勢,在改變風格的同時保持構圖固定。
開發人員在伺服器上以 API 模式執行 ComfyUI,並從 Web 應用程式傳送工作流程 JSON 以按需產生產品模型。
ComfyUI 和基於節點的影像工作流程的未來
ComfyUI 已從業餘愛好者工具轉變為開放生成模型的通用運行時,具有桌面應用程式以及對視訊和 3D 的日益增長的支援。自訂節點周圍的安全性可能仍然是一個問題,更多的擴展簽名、審查或沙箱將會有所幫助。節點圖可能會嚇到初學者,因此在需要之前隱藏圖的簡化前端和模板的工作可能會繼續下去。硬體需求將繼續遵循模型大小,而量化和記憶體技術將不斷擴展在消費級 GPU 上運行的內容。
付諸實踐
為什麼這很重要
- 配裝選擇. 應用級設計決定了人工智慧是否能改善實際結果。
- 團隊與工作流程. 良好的工作流程整合可以創造使用者值得信賴的生產力效益。
- 風險與安全. 範圍明確的用例可以減少變更疲勞和實施風險。
留意
- 將損壞的流程自動化可能會加劇現有問題。
- 團隊可能會過度自動化並消除所需的人工判斷。
- 如果不持續評估輸出,品質可能會出現偏差。
後續步驟
- 繪製目前工作流程並確定摩擦最大的步驟。
- 在完全自動化之前定義人工檢查點。
- 對使用者進行提示、升級路徑和品質標準的訓練。
- 追蹤任務級結果以確認持續價值。
不斷探索
常見問題
什麼是 ComfyUI 和基於節點的影像工作流程?
ComfyUI 是一款免費的開源應用程序,用於在您自己的電腦上運行圖像、視訊和音訊生成模型。管道的每個步驟(例如載入模型、編碼提示、取樣和解碼)都是您在視覺化圖中連接的節點。這很重要,因為它準確地展示了擴散的工作原理,使複雜的工作流程可重複和可共享,並允許人們在自己的硬體上運行開放模型,而無需雲端服務。
哪個節點在基本 ComfyUI 圖中運行去噪迴圈?
KSampler 使用種子、步驟、CFG 尺度、取樣器和調度器運行迭代去噪。
Load Checkpoint 輸出哪三個組成部分?
檢查點捆綁了去雜訊模型、將提示轉換為條件的文字編碼器以及在潛在變數和像素之間進行轉換的 VAE。
如何恢復製作 ComfyUI 影像的工作流程?
ComfyUI 將工作流程 JSON 保存在其生成的圖像中,因此載入圖像會重建圖形。
為什麼僅更改提示而不重新載入模型?
執行器檢查每個節點輸入的快取。 Load Checkpoint的輸入沒有改變,所以被跳過。
自訂節點的主要安全風險是什麼?
自訂節點可以執行您的帳戶可以執行的任何操作,這就是為什麼有報告惡意包竊取資料的情況。