概述
置信度是用於選擇的模型分數,而非保證 token 正確的依據。
深入探討
MaskGIT(Masked Generative Image Transformer)由 Google 於 2022 年提出,重新思考了基於 token 的圖像模型如何解碼。早期的 transformer 如 VQGAN 以自回歸方式生成 token,依光柵順序逐一生成。MaskGIT 則採用類似 BERT 的遮罩建模目標進行訓練:隨機隱藏部分圖像 token,模型學習使用雙向注意力同時預測它們。在生成階段,它從遮罩網格開始,並經過設定數量的精煉迭代進行解碼;原始論文報告的範例大約使用 8 到 12 個步驟,但具體數量取決於設定,而非演算法的定義。每一步預測遮罩 token,保留選定的高置信度預測,並對其他位置重新遮罩。置信度為下一輪迭代對候選者進行排名;它並不證明預測是正確的。
現實世界的實施
透過大約 8 到 12 個並行步驟產生完整影像,而不是數百個自回歸標記預測
透過僅重新預測具有周圍上下文的隱藏標記來修復照片的遮罩區域
ImageNet 上的類條件影像合成品質可與慢得多的模型相媲美
充當需要快速生成的文本到圖像系統(例如 Google 的 MUSE)的解碼骨幹
MaskGIT 並行令牌解碼的未來
MaskGIT 的平行迭代解碼激發了一波非自回歸生成器的浪潮,包括用於文字到圖像的 MUSE 和用於視訊的屏蔽方法。該模式並行預測令牌並透過幾個步驟進行細化,介於一次性 GAN 和多步擴散之間,提供了可調節的質量與速度權衡。預計屏蔽令牌解碼將繼續出現在快速多模式產生器和編輯系統中,其中修復和條件填充是自然的選擇。
付諸實踐
為什麼這很重要
- 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
- 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
- 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。
留意
- 如果出處不明,肖像權和同意可能會成為法律風險。
- 模型表現可能因光照、人口統計和環境的不同而有所不同。
- 除非監控置信閾值,否則誤報可能會被忽略。
後續步驟
- 定義精確度、召回率和錯誤成本的接受標準。
- 使用符合實際生產條件的數據進行測試。
- 為低置信度或高影響力的預測添加人工審核。
- 追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
常見問題
什麼是 MaskGIT 並行令牌解碼?
MaskGIT 透過一次預測多個 token 並選擇高置信度預測進行後續精煉來生成圖像,以並行迭代取代了從左到右的生成方式。置信度是用於選擇的模型分數,而非保證 token 正確的依據。
MaskGIT 解碼影像標記與 VQGAN 轉換器有何不同?
MaskGIT 透過雙向注意力同時預測所有屏蔽標記,這與 VQGAN 緩慢的從左到右自回歸解碼不同。
MaskGIT 從語言模型中藉鏡了什麼訓練目標?
MaskGIT 隱藏標記的隨機子集並學習預測它們,這是類似於 BERT 的屏蔽建模目標。
在生成過程中,MaskGIT 在每次迭代時提交哪些令牌?
在每次迭代中,MaskGIT 保留模型置信度最高的預測,並對其他位置重新遮罩。置信度是用於選擇 token 的排名訊號,而非證明每個被選中的 token 都是正確的證據。
在原始 MaskGIT 生成範例中,通常使用大約多少次精煉迭代?
指南引用原始論文圖像生成設定中大約 8 到 12 個步驟作為範例;該數量取決於設定,而非普遍要求。
什麼時間表控制 MaskGIT 每一步顯示多少個令牌?
餘弦時間表在早期揭示了很少的標記,在後期揭示了更多的標記,從而平衡了迭代之間的質量和速度。