技術指南

擴散模型中的記憶

擴散式影像模型通常會生成新的影像,但研究顯示,它們有時能幾乎精確地重現特定的訓練影像,尤其是那些在訓練數據中出現過多次的影像。

聆聽此指南AI 語音敘述 · ~3 min

本頁閱讀時間3分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 擴散模型中的記憶現象未來展望
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

這被稱為記憶現象(memorization)。這對版權很重要,因為受保護作品的近似複製品可能從模型中產生;對隱私也很重要,因為真實人物的照片或醫療掃描圖像可能會被重新輸出。

深入探討

A diffusion model learns to reverse a noising process: during training it sees images with noise added and learns to predict and remove that noise. If it generalizes well, it learns the statistics of images in general and produces new combinations. But neural networks can also fit individual examples, and when one image appears hundreds or thousands of times in the data, the cheapest way to reduce training loss on it is to store it. The key evidence comes from Carlini and colleagues' 2023 paper 'Extracting Training Data from Diffusion Models'. They generated many images for captions of the most duplicated training images and flagged outputs that were extremely close to a training image. They extracted over a hundred near-identical copies from Stable Diffusion, including photos of identifiable people, and found higher memorization rates in Google's Imagen. Separately, Somepalli and colleagues (2022-2023) showed that Stable Diffusion outputs frequently copied parts or layouts of training images, and linked copying to duplicated images and highly specific captions. Three misconceptions are worth correcting. First, memorization is not the model's normal behavior: extracted copies are rare relative to all generations. Second, rare does not mean harmless, because a determined user can target the images most likely to be memorized. Third, memorization is not only exact pixel copying; models can reproduce characters, logos, watermarks and distinctive compositions. This evidence has featured in legal debates, including lawsuits such as Getty Images v. Stability AI and Andersen v. Stability AI, although how courts treat model training and outputs is still being worked out and varies by country. For privacy, the concern is sharper in small fine-tuning datasets, such as medical or personal photos, where each example has more influence.

現實世界的實施

研究人員使用重複率極高的訓練影像的原始說明文字來提示模型,得到的輸出幾乎與原始照片逐像素相同。

一位設計師要求生成某幅著名畫作的風格,結果收到一張複製了某件特定藝術品構圖和細節的影像,而非一件新作品。

一個在網路影像上訓練的影像生成器,偶爾會渲染出扭曲的素材代理商浮水印,顯示它吸收了來自重複來源影像的模式。

一個醫院團隊正在使用一組小型患者掃描數據對擴散模型進行微調,在允許任何共享之前,測試該模型是否能輸出真實掃描的近似複製品。

擴散模型中的記憶現象未來展望

去重和輸出相似度檢查正成為負責任開發者的標準做法,研究也在繼續探索如何在推理時檢測被記憶的提示詞。差分隱私可能在醫療影像等敏感領域變得實用,但品質上的取捨仍然存在。法律狀況尚未明朗:不同國家的法院正在考慮訓練和輸出是否侵犯版權,結果可能各不相同。開發者可能會面臨更大的壓力,需要記錄訓練數據來源,並展示他們如何測試和限制重新輸出(regurgitation)。

付諸實踐

為什麼這很重要

  • 成本與預算. 多年來,架構決策決定著效能和營運成本。
  • 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
  • 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。

留意

  • 優化一項基準測試可以隱藏更廣泛的系統弱點。
  • 基礎設施和維護成本常常被低估。
  • 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。

後續步驟

  1. 在實施之前定義延遲、品質和成本目標。
  2. 在實際負載和資料條件下進行基準測試。
  3. 儀器監控錯誤、漂移和使用者影響。
  4. 在擴展之前準備回滾和事件回應路徑。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加擴散模型記憶現象測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是擴散模型中的記憶現象?

擴散式影像模型通常會生成新的影像,但研究顯示,它們有時能幾乎精確地重現特定的訓練影像,尤其是那些在訓練數據中出現過多次的影像。這被稱為記憶現象。這對版權很重要,因為受保護作品的近似複製品可能從模型中產生;對隱私也很重要,因為真實人物的照片或醫療掃描圖像可能會被重新輸出。

擴散模型中的記憶現象是什麼?

記憶現象是指輸出結果是特定訓練影像的近似複製品,而非新影像。

為什麼重複數據會增加記憶現象?

反覆接觸相同的影像,使得擬合該特定範例成為降低損失函數的一種高效方式。

Carlini 及其同事 2023 年的論文證明了什麼?

他們從 Stable Diffusion 中提取了超過一百張近似複製品,包括可識別身份的人物的照片,並發現 Imagen 中的發生率更高。

提取攻擊是如何識別可能被記憶的影像的?

被記憶的影像無論隨機種子為何都會一致出現,因此幾乎相同的輸出緊密聚類會標記出候選影像。

關於記憶現象,哪一項陳述是準確的?

相對於所有輸出,提取出的複製品是罕見的,但攻擊者可以專注於最可能被記憶的影像。