概述
此順序過程不同於屏蔽並行解碼。
深入探討
PixelRNN/PixelCNN 對有序柵格序列中像素的條件分佈進行建模。最初的 DALL·E 工作使用離散 VAE 將圖像表示為標記,並在文字和圖像標記上訓練自回歸 Transformer;其論文報告了 2.5 億個圖像文字對資料集。此類模型會依序對令牌進行取樣。 MaskGIT 使用不同的遮罩令牌迭代解碼方法來並行預測多個令牌。
現實世界的實施
PixelCNN 和 PixelRNN 在其發表的影像生成研究中對影像像素進行自回歸建模。
原始的 DALL·E 論文在序列建模之前使用離散變分自動編碼器對影像進行標記。
因果注意力掩模可防止 Transformer 解碼器在自回歸預測期間使用未來的影像標記。
MaskGIT 是一種單獨的屏蔽標記方法,可以並行迭代地預測許多影像標記。
自回歸影像生成的未來
使用匹配的影像品質、計算和取樣條件來比較自回歸和平行遮罩影像方法。評估目標域上的提示對齊和工件。引用的論文建立了自己的架構和實驗,而不是普遍的獲勝者或未來的部署趨勢。
付諸實踐
為什麼這很重要
- 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
- 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
- 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。
留意
- 如果出處不明,肖像權和同意可能會成為法律風險。
- 模型表現可能因光照、人口統計和環境的不同而有所不同。
- 除非監控置信閾值,否則誤報可能會被忽略。
後續步驟
- 定義精確度、召回率和錯誤成本的接受標準。
- 使用符合實際生產條件的數據進行測試。
- 為低置信度或高影響力的預測添加人工審核。
- 追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
常見問題
什麼是自回歸影像生成?
自迴歸影像模型一次產生一系列視覺標記,根據較早的標記和任何文字提示調節每個下一個標記。此順序過程不同於屏蔽並行解碼。
在影像生成的背景下「自回歸」意味著什麼?
自迴歸模型將影像分解為序列,根據先前產生的所有元素來預測每個標記或像素。
像 DALL-E 1 這樣的現代自回歸影像模型在預測影像之前通常如何表示影像?
現代系統將影像壓縮為離散標記(通常透過 VQ-VAE 式編碼器),然後使用 Transformer 預測該標記序列。
哪些早期模型一次產生一個原始像素影像?
PixelRNN 和 PixelCNN 是自迴歸模型的先驅,可以逐像素掃描和預測影像。
什麼機制可以確保 Transformer 在自迴歸產生過程中只專注於較早的代幣?
因果屏蔽阻止每個位置專注於未來的標記,從而強制執行從左到右的分解。
自回歸影像取樣的主要實際缺點是什麼?
由於每個令牌都依賴先前的令牌,因此推理必須逐一令牌運行,從而使得生成速度相對較慢。