視覺人工智慧指南

MaskGIT 並行令牌解碼

MaskGIT 透過一次預測多個 token 並選擇高置信度預測進行後續精煉來生成圖像,以並行迭代取代了從左到右的生成方式。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. MaskGIT 並行令牌解碼的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

置信度是用於選擇的模型分數,而非保證 token 正確的依據。

深入探討

MaskGIT(Masked Generative Image Transformer)由 Google 於 2022 年提出,重新思考了基於 token 的圖像模型如何解碼。早期的 transformer 如 VQGAN 以自回歸方式生成 token,依光柵順序逐一生成。MaskGIT 則採用類似 BERT 的遮罩建模目標進行訓練:隨機隱藏部分圖像 token,模型學習使用雙向注意力同時預測它們。在生成階段,它從遮罩網格開始,並經過設定數量的精煉迭代進行解碼;原始論文報告的範例大約使用 8 到 12 個步驟,但具體數量取決於設定,而非演算法的定義。每一步預測遮罩 token,保留選定的高置信度預測,並對其他位置重新遮罩。置信度為下一輪迭代對候選者進行排名;它並不證明預測是正確的。

現實世界的實施

透過大約 8 到 12 個並行步驟產生完整影像,而不是數百個自回歸標記預測

透過僅重新預測具有周圍上下文的隱藏標記來修復照片的遮罩區域

ImageNet 上的類條件影像合成品質可與慢得多的模型相媲美

充當需要快速生成的文本到圖像系統(例如 Google 的 MUSE)的解碼骨幹

MaskGIT 並行令牌解碼的未來

MaskGIT 的平行迭代解碼激發了一波非自回歸生成器的浪潮,包括用於文字到圖像的 MUSE 和用於視訊的屏蔽方法。該模式並行預測令牌並透過幾個步驟進行細化,介於一次性 GAN 和多步擴散之間,提供了可調節的質量與速度權衡。預計屏蔽令牌解碼將繼續出現在快速多模式產生器和編輯系統中,其中修復和條件填充是自然的選擇。

付諸實踐

為什麼這很重要

  • 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
  • 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
  • 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。

留意

  • 如果出處不明,肖像權和同意可能會成為法律風險。
  • 模型表現可能因光照、人口統計和環境的不同而有所不同。
  • 除非監控置信閾值,否則誤報可能會被忽略。

後續步驟

  1. 定義精確度、召回率和錯誤成本的接受標準。
  2. 使用符合實際生產條件的數據進行測試。
  3. 為低置信度或高影響力的預測添加人工審核。
  4. 追蹤模型漂移並在相機或資料集變更後重新驗證。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加 MaskGIT 並行 Token 解碼測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是 MaskGIT 並行令牌解碼?

MaskGIT 透過一次預測多個 token 並選擇高置信度預測進行後續精煉來生成圖像,以並行迭代取代了從左到右的生成方式。置信度是用於選擇的模型分數,而非保證 token 正確的依據。

MaskGIT 解碼影像標記與 VQGAN 轉換器有何不同?

MaskGIT 透過雙向注意力同時預測所有屏蔽標記,這與 VQGAN 緩慢的從左到右自回歸解碼不同。

MaskGIT 從語言模型中藉鏡了什麼訓練目標?

MaskGIT 隱藏標記的隨機子集並學習預測它們,這是類似於 BERT 的屏蔽建模目標。

在生成過程中,MaskGIT 在每次迭代時提交哪些令牌?

在每次迭代中,MaskGIT 保留模型置信度最高的預測,並對其他位置重新遮罩。置信度是用於選擇 token 的排名訊號,而非證明每個被選中的 token 都是正確的證據。

在原始 MaskGIT 生成範例中,通常使用大約多少次精煉迭代?

指南引用原始論文圖像生成設定中大約 8 到 12 個步驟作為範例;該數量取決於設定,而非普遍要求。

什麼時間表控制 MaskGIT 每一步顯示多少個令牌?

餘弦時間表在早期揭示了很少的標記,在後期揭示了更多的標記,從而平衡了迭代之間的質量和速度。