概述
FLUX.1 變體使用整流流變壓器方法並具有獨特的許可證和功能;後來的 Kontext 工作解決了上下文圖像編輯問題。
深入探討
Black Forest Labs 於 2024 年推出了 FLUX.1 系列。官方儲存庫列出了具有不同存取權限和授權條款的 [pro]、[dev] 和 [schnell] 變體。 [schnell] 模型卡描述了一個 120 億參數的整流流變壓器和一個 Apache 2.0 授權; [dev] 卡片列出了非商業術語。整流流變壓器論文描述了具有雙向資訊交換的單獨文字和圖像路徑,但它並未完整揭露每個 FLUX.1 訓練細節。後來的 FLUX.1 Kontext 論文研究了上下文中的圖像生成和編輯。品質和文字渲染聲明應根據變體和任務進行評估,而不是在所有影像上進行概括。 FLUX.1 [dev] 模型卡將該檢查點標識為 12B 整流流變壓器,並列出了非商業術語,在適用的情況下需要單獨的商業許可。 FLUX.1 [schnell] 模型卡可識別潛在的對抗擴散蒸餾並報告該變體的 1-4 個推理步驟。 BFL 於 2024 年 8 月發布的基準測試報告了 FLUX.1 [pro] 和 [dev] 的排版結果,範圍僅限於該公司評估。官方儲存庫參考程式碼載入T5 v1.1 XXL和CLIP ViT-L/14;不要將這些實作細節推廣到後來的 FLUX 變體。 FLUX.1 Kontext 論文研究了上下文圖像生成和編輯,並報告與它評估的模型相比,在多個編輯輪次中改進了物件和角色的保存;這是一個評估結果,而不是普遍的身份保證。
現實世界的實施
使用記錄的 FLUX.1 變體產生提示條件影像。
比較同一提示集上的文字呈現和提示遵守。
在商業或託管使用之前查看確切的檢查點許可證。
僅在檢查支援的變體和工作流程後才使用 Kontext 模型進行影像編輯。
FLUX 影像模型的未來
Black Forest Labs繼續發布模型變體和編輯工具。驗證目前卡片和許可證的確切檢查點,並評估預期工作流程的提示保真度、文字渲染和編輯一致性。
付諸實踐
為什麼這很重要
- 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
- 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
- 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。
留意
- 如果出處不明,肖像權和同意可能會成為法律風險。
- 模型表現可能因光照、人口統計和環境的不同而有所不同。
- 除非監控置信閾值,否則誤報可能會被忽略。
後續步驟
- 定義精確度、召回率和錯誤成本的接受標準。
- 使用符合實際生產條件的數據進行測試。
- 為低置信度或高影響力的預測添加人工審核。
- 追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
常見問題
什麼是 FLUX 影像模型?
FLUX 是 Black Forest Labs 的影像生成模型系列。 FLUX.1 變體使用整流流變壓器方法,並具有獨特的許可證和功能;後來的 Kontext 工作解決了上下文圖像編輯問題。
哪家公司創建了 FLUX 影像模型?
FLUX 由 Black Forest Labs 創建,這是一家由 Stable Diffusion 前核心開發人員創立的新創公司。
哪個 FLUX 變體是快速的 Apache-2.0 許可的精煉版本?
FLUX.1 [schnell](“schnell”在德語中的意思是“快速”)是為提高速度而構建的經過 Apache-2.0 許可的精煉版本。
FLUX.1 [dev] 模型卡辨識哪一種生成架構?
官方 FLUX.1 [dev] 卡將此檢查點識別為 12B 整流流變壓器。架構和取樣行為應限制在特定變體範圍內;該聲明不保證每個 FLUX 模型的取樣步驟更少。
Black Forest Labs 在 2024 年 8 月的 FLUX.1 發布基準測試中報告了哪些排版結果?
BFL 2024 年 8 月的公司基準報告稱,FLUX.1 [pro] 和 [dev] 在排版方面超越了指定的比較器。這是公司報告的範圍內的結果,而不是跨變體或提示的普遍保證。
FLUX.1 Kontext 論文報告迭代編輯的一致性目標是什麼?
Kontext 論文報告稱,與其評估的編輯模型相比,多輪中的物件和字元保留得到了改善。這是報告的比較,不能保證每個主題或編輯。