視覺人工智慧指南

自回歸影像生成

自迴歸影像模型一次產生一系列視覺標記,根據較早的標記和任何文字提示調節每個下一個標記。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 自回歸影像生成的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

此順序過程不同於屏蔽並行解碼。

深入探討

PixelRNN/PixelCNN 對有序柵格序列中像素的條件分佈進行建模。最初的 DALL·E 工作使用離散 VAE 將圖像表示為標記,並在文字和圖像標記上訓練自回歸 Transformer;其論文報告了 2.5 億個圖像文字對資料集。此類模型會依序對令牌進行取樣。 MaskGIT 使用不同的遮罩令牌迭代解碼方法來並行預測多個令牌。

現實世界的實施

PixelCNN 和 PixelRNN 在其發表的影像生成研究中對影像像素進行自回歸建模。

原始的 DALL·E 論文在序列建模之前使用離散變分自動編碼器對影像進行標記。

因果注意力掩模可防止 Transformer 解碼器在自回歸預測期間使用未來的影像標記。

MaskGIT 是一種單獨的屏蔽標記方法,可以並行迭代地預測許多影像標記。

自回歸影像生成的未來

使用匹配的影像品質、計算和取樣條件來比較自回歸和平行遮罩影像方法。評估目標域上的提示對齊和工件。引用的論文建立了自己的架構和實驗,而不是普遍的獲勝者或未來的部署趨勢。

付諸實踐

為什麼這很重要

  • 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
  • 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
  • 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。

留意

  • 如果出處不明,肖像權和同意可能會成為法律風險。
  • 模型表現可能因光照、人口統計和環境的不同而有所不同。
  • 除非監控置信閾值,否則誤報可能會被忽略。

後續步驟

  1. 定義精確度、召回率和錯誤成本的接受標準。
  2. 使用符合實際生產條件的數據進行測試。
  3. 為低置信度或高影響力的預測添加人工審核。
  4. 追蹤模型漂移並在相機或資料集變更後重新驗證。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加自回歸影像生成測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是自回歸影像生成?

自迴歸影像模型一次產生一系列視覺標記,根據較早的標記和任何文字提示調節每個下一個標記。此順序過程不同於屏蔽並行解碼。

在影像生成的背景下「自回歸」意味著什麼?

自迴歸模型將影像分解為序列,根據先前產生的所有元素來預測每個標記或像素。

像 DALL-E 1 這樣的現代自回歸影像模型在預測影像之前通常如何表示影像?

現代系統將影像壓縮為離散標記(通常透過 VQ-VAE 式編碼器),然後使用 Transformer 預測該標記序列。

哪些早期模型一次產生一個原始像素影像?

PixelRNN 和 PixelCNN 是自迴歸模型的先驅,可以逐像素掃描和預測影像。

什麼機制可以確保 Transformer 在自迴歸產生過程中只專注於較早的代幣?

因果屏蔽阻止每個位置專注於未來的標記,從而強制執行從左到右的分解。

自回歸影像取樣的主要實際缺點是什麼?

由於每個令牌都依賴先前的令牌,因此推理必須逐一令牌運行,從而使得生成速度相對較慢。