概述
它們為藝術家提供了一些針對未經授權的培訓的槓桿作用,但研究人員已經表明它們可以被削弱或消除,因此它們是一種威懾而不是保證。
深入探討
這兩種工具均來自由 Ben Zhao 領導的芝加哥大學 SAND 實驗室。 Glaze 於 2023 年發布,Nightshade 於 2024 年 1 月發布,兩者都是免費的。 Glaze 還有一個網頁版本 WebGlaze,適合沒有強大電腦的藝術家。釉料解決了風格模仿問題。有人可以在藝術家的數十件作品上微調圖像模型,然後以這種風格創作出無限的作品。 Glaze 添加了一種擾動,一種小像素變化的模式,使藝術品在模型的圖像編碼器中看起來就像是不同的風格。在光滑影像上微調的模型會學到錯誤的風格,而人卻看不到什麼改變。茄屬植物具有攻擊性而非防禦性。它的目標是對抓取的資料進行訓練。改變狗的陰影圖像,以便模型感知其他物體(例如貓)的特徵。由於與整個資料集相比,每個概念出現在相對較少的訓練影像中,研究人員認為,適量的中毒樣本可能會使模型對「狗」做出反應,結果會失真。目的是提高未經許可的抓取成本。他們的工作效果如何?擾動是針對特定模型組件進行調整的,這是它們的弱點。蘇黎世聯邦理工學院和 Google DeepMind 的研究人員在 2024 年進行的一項研究發現,簡單的方法(例如噪音放大)可以消除 Glaze 式的保護,足以使模仿成功。後來的工作,包括 2025 年的 LightShed,訓練探測器來發現和消除中毒擾動。 Glaze 團隊對一些發現提出了異議,並更新了其工具。主要的誤解是保護是永久性的。今天發布的圖像以後無法更新,而攻擊者和模型不斷變化。這些工具也會留下可見的偽影,尤其是在高強度下。
現實世界的實施
數位畫家在發布每件新作品之前都會通過 Glaze 運行它,因此在她的作品集上微調 LoRA 的人會得到與她的筆觸和調色板不匹配的輸出。
一位插畫家將茄屬植物應用到她公開發布的龍圖像上,目的是製作抄襲的副本,教導模型一個不相關概念的視覺特徵。
藝術家比較釉光強度設置,並為柔和的水彩作品選擇較低的級別,因為較高的設置會在平坦的顏色區域留下可見的偽影。
一個小型藝術社群討論了研究,顯示升級可以剝奪保護,並決定將 Glaze 與選擇退出註冊表和平台設定結合起來,而不是單獨依賴它。
釉料和茄屬藝術家保護的未來
擾動工具和清除方法之間的競爭類似於其他對抗性軍備競賽,迄今為止的研究表明,防御者處於結構性劣勢,因為發布的圖像是固定的,而攻擊卻在不斷改進。 Glaze 和 Nightshade 仍然被許多藝術家視為提高濫用成本和表示不同意的一種方式。更長期的保護更有可能來自培訓資料、許可安排、出處標準和平台政策方面的法律規則的結合。藝術家應該以現實的期望來使用這些工具,並保持其他措施到位。
付諸實踐
為什麼這很重要
- 風險與安全. 災難性和日常的人工智慧危害都取決於誰了解風險以及誰能夠採取行動。
- 更明確的決策. 民眾和專業素養決定強而有力的安全政策在政治上是否可行。
- 突破炒作. 清晰的解釋可以減少炒作、實驗室公關和模糊道德劇場的影響。
留意
- 將存在風險視為科幻小說,同時能力複合。
- 混淆了表面產品安全與高度自治下的對準。
- 只給非英語和非專業觀眾留下低品質的資源。
後續步驟
- 單獨的產品危害、誤用和失控/失調風險。
- 詢問哪些證據會改變您對時間表和嚴重性的看法。
- 比起行銷主張,更喜歡主要來源和具體評估。
- 確定一條行動路徑:職業、政策、資金或技能——而不僅僅是意識。
不斷探索
常見問題
什麼是釉料和茄屬藝術家保護?
Glaze 和 Nightshade 是芝加哥大學的免費工具,它們對藝術品進行了細微的、精心優化的更改,因此 AI 模型誤讀了它:Glaze 試圖阻止模型複製藝術家的風格,而 Nightshade 試圖毒害訓練數據,以便模型學習錯誤的關聯。它們為藝術家提供了一些針對未經授權的培訓的槓桿作用,但研究人員已經表明它們可以被削弱或消除,因此它們是一種威懾而不是保證。
Glaze 主要是為了回應什麼威脅?
Glaze 的目標人群是在藝術家圖像上微調模型以再現該風格的人。
Nightshade 與 Glaze 的目標有何不同?
釉是防禦性的,保護藝術家的風格。 Nightshade 具有攻擊性,旨在破壞模型從抓取圖像中學到的知識。
當 Glaze 幹擾藝術品時,其優化目標是什麼?
Glaze 將影像的特徵表示移向誘餌風格,因此微調可以學習該風格。
是什麼使得這些擾動對於人類觀眾來說不那麼明顯?
優化限制了影像在人們看來的差異,同時最大限度地提高了影像在模型看來的差異。
蘇黎世聯邦理工學院和 Google DeepMind 研究人員在 2024 年進行的研究發現了什麼?
研究表明,廉價的預處理可以解除保護,從而使風格模仿得以成功。