擴散模型
擴散模型透過學習逆轉雜訊過程來產生影像，逐步將隨機靜態轉換為詳細的圖片。
概述
They power today's leading text-to-image tools like Stable Diffusion, DALL-E, and Midjourney.
深入探討
擴散模型在兩個方向上進行訓練。在前向過程中，乾淨的影像透過添加少量隨機雜訊逐漸被破壞，直到變成純靜態。然後，模型學習相反的過程：從噪聲開始，每一步都會預測並消除一點噪聲，重複數十或數百次，直到出現清晰的圖像。為了使其可控，文字提示會引導每個去雜訊步驟，因此「騎馬的太空人」會將靜電引導到該圖片。像穩定擴散這樣的現代系統在壓縮的潛在空間中運行這個過程，而不是在原始像素上，使其速度更快。與 GAN 相比，擴散模型訓練更穩定並產生更大的多樣性，這就是為什麼它們在 2022 年左右取代 GAN 成為高品質影像生成的主要方法。
技術洞察
關鍵技巧是網路永遠不需要一次性生成圖像；它只學會預測在給定步驟中添加的雜訊。在訓練期間，將已知量的雜訊添加到真實影像中，並要求模型估計該雜訊；差異在於訓練誤差。在生成時，模型反覆減去其預測的噪聲，逐漸揭示結構。文字調節是透過交叉注意力注入的，無分類器的指導放大了提示引導輸出的強度。
戰略影響
更明確的決策
它可以幫助您將清晰的技術聲明與行銷語言分開。
成本與預算
在花費金錢或時間之前，您可以提出更好的實施問題。
團隊與工作流程
具有共同理解的團隊可以做出更好的產品、政策和學習決策。
擴散模型的未來
擴散是當前圖像以及越來越多的視訊和音訊生成的最先進技術，使用 Sora 等工具將其擴展到運動。最大的推動力是速度：蒸餾和一致性模型等技術旨在將數百個降噪步驟減少到少數甚至一個，從而實現即時生成。預計擴散將擴展到 3D 資產、分子和蛋白質等科學設計以及嚴格可控的編輯，同時變得足夠便宜，可以在手機上運行。
現實世界的實施
根據穩定擴散、DALL-E 和 Midjourney 中的文字提示創建原創藝術作品和圖像
修復和修復，無縫填充或擴展照片的某些部分
在 OpenAI 的 Sora 等工具中從文字產生視頻
為藥物發現研究設計新穎的分子和蛋白質結構
風險與防護欄
不同的團隊可能會以不同的方式使用相同術語，因此請儘早定義範圍。
基準測試可能看起來很強大，但實際效能卻參差不齊。
忽視數據品質和評估計劃通常會產生脆弱的結果。
實施路線圖
從您需要的結果的簡單語言定義開始。
在測試之前選擇一種成功指標和一種失敗條件。
使用代表性資料運行小型試點，而不是完善的演示集。
記錄擴散模型在哪些方面有幫助以及在哪些方面更簡單的方法更好。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Diffusion Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Diffusion Models?
擴散模型透過學習逆轉雜訊過程來產生影像，逐步將隨機靜態轉換為詳細的圖片。它們為當今領先的文本到圖像工具提供支持，例如 Stable Diffusion、DALL-E 和 Midjourney。
扩散模型生成图像背后的核心思想是什么？
擴散模型學習逆轉雜訊過程，從純雜訊開始，逐步去噪，直到出現清晰的影像。
在訓練過程中，模型在每一步中實際學習預測什麼？
此模型會獲得一幅噪聲影像，並學習估計添加的噪聲，以便稍後在生成過程中減去噪聲。
文字提示如何影響生成的圖像？
文字調節（透過交叉注意力和指導）推動每個去雜訊步驟，使出現的圖像與提示相符。
為什麼穩定擴散在“潛在空間”中運行該過程？
在壓縮的潛在空間而不是全解析度像素中操作可顯著減少計算量，同時保持質量。
與 GAN 相比，擴散模型的主要優勢是什麼？
擴散模型避免了 GAN 不穩定的對抗性博弈和模式崩潰，從而產生更可靠的訓練和更大的輸出多樣性。