概述
模型只能了解手的表面形狀,而無需可靠地了解其結構,例如每隻手有五個手指。手部錯誤成為合成圖像的一個眾所周知的標誌,了解它們發生的原因既可以解釋新模型的改進方式,也可以解釋為什麼數手指不再是識別贗品的可靠方法。
深入探討
Diffusion models learn from billions of image-caption pairs by learning to reverse added noise. They become very good at local visual patterns: skin texture, lighting, the general look of a hand. What they never receive is an explicit rule that a hand has five fingers joined to a palm in a particular order. Several factors make hands hard. Hands take up a small part of most photos, so they get few pixels. Latent diffusion models such as Stable Diffusion also shrink images by a factor of eight in each dimension before generating, which can leave a hand only a handful of latent cells. Hands take an enormous range of poses, grip objects, overlap each other and are often partly hidden, so the training data is full of incomplete views. Fingers look alike, so a model producing 'finger, finger, finger' has no strong signal telling it when to stop. Captions almost never mention hands, let alone their pose, so the prompt offers little guidance. The result is a set of familiar errors: extra or missing fingers, fused digits, thumbs on the wrong side, and hands melting into objects or other people. Teeth, ears and jewelry go wrong for similar reasons. Newer systems have reduced these failures. Larger models, higher training resolutions, better filtered and captioned data, transformer-based architectures and fine-tuning on human preference ratings all helped. Midjourney's version 5 in 2023 was widely noted for better hands, and later models from several labs improved further. Errors have not disappeared, though, especially in complex poses, crowds and hands holding things. A common misconception is that the model 'cannot count'. It is more accurate to say it learns appearance statistically, and correct structure emerges only when the data and model capacity are sufficient.
現實世界的實施
早期的 Stable Diffusion 肖像顯示某人用六個手指包裹著一個咖啡杯,當模型混合許多重疊的抓握姿勢時,這是典型的失敗。
舊模型中的集體場景將兩個人的手觸摸的地方合併在一起,因為模型並不清楚一個身體在哪裡結束,另一個身體從哪裡開始。
藝術家輸入 ControlNet OpenPose 或由她自己的手部照片製作的深度圖來強制形成正確的姿勢,然後修復任何剩餘的錯誤。
事實查核員指出,可疑的假貨擁有完全正常的手,這提醒人們,較新的生成器通常會正確地繪製手,並且需要其他線索。
人工智慧影像生成器為何會出錯的未來
隨著模型的發展和訓練資料的改進,手部錯誤可能會不斷縮小,但不尋常的姿勢、雙手交叉和雙手操縱物體仍然比簡單的張開手掌更難。視訊生成增加了這個問題的新版本,因為手指必須在幀與幀之間保持一致。對於任何判斷真偽的人來說,手工檢查都是一個微弱的信號。畸形的手仍然表明生成了圖像,但正確的手不能證明任何事情。出處記錄和水印比檢查解剖結構更可靠。
付諸實踐
為什麼這很重要
- 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
- 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
- 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。
留意
- 如果出處不明,肖像權和同意可能會成為法律風險。
- 模型表現可能因光照、人口統計和環境的不同而有所不同。
- 除非監控置信閾值,否則誤報可能會被忽略。
後續步驟
- 定義精確度、召回率和錯誤成本的接受標準。
- 使用符合實際生產條件的數據進行測試。
- 為低置信度或高影響力的預測添加人工審核。
- 追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
常見問題
為什麼人工智慧圖像生成器會出錯?
人工智慧圖像生成器會犯錯,因為手很小,高度靈活,通常部分隱藏並且很少在字幕中描述。模型只能了解手的表面形狀,而無需可靠地了解其結構,例如每隻手有五個手指。手部錯誤成為合成圖像的一個眾所周知的標誌,了解它們發生的原因既可以解釋新模型的改進方式,也可以解釋為什麼數手指不再是識別贗品的可靠方法。
根據指南,擴散模型主要從圖像標題對中學習什麼?
模型從統計角度了解事物的外觀。訓練中沒有給他們明確的規則,就是一隻手有五根手指。
Stable Diffusion 中的潛在壓縮如何使手更難繪製?
一隻小手在每個維度上縮小八倍,最終只剩下很少的空間來代表五個不同的手指。
為什麼字幕對模特兒的雙手幫助不大?
如果沒有描述手部姿勢的文本,模型就無法將提示詞連結到手部結構。
指南中說哪個 Midjourney 版本在 2023 年被廣泛認為擁有更好的手感?
Midjourney 的版本 5 於 2023 年發布,因其改進的手牌而受到廣泛關注,這是更廣泛的縮放和更好的數據趨勢的一部分。
ADetailer 風格的偵測和重繪工作流程有什麼作用?
增大嗉囊可以讓手在再生過程中獲得更多潛在的細胞,進而改善其結構。