概述
其運作原理是將驅動影片或音訊軌道的動作轉移到原始影像上。這項技術支援了說話頭像、動態家庭照片和講師影片,但也引發了同意權的疑慮,因為只要一張公開照片就足以作為輸入素材。
深入探討
Every system has four parts: a source image that supplies appearance, a driving signal (a video of another face, or audio), a motion representation, and a generator that warps the source and fills in gaps. The First Order Motion Model (Siarohin et al., NeurIPS 2019) set the template. It learns keypoints without any labels, together with local affine transformations around each one. From the source and driving keypoints it predicts a dense motion field, which is a per-pixel flow, plus an occlusion map marking regions the source image cannot supply. It warps the source's feature maps with the flow and has a decoder paint in the occluded areas. It also uses relative motion transfer: it applies how the driving keypoints move relative to the driving video's first frame, not their absolute positions, so the source keeps its own face shape. SadTalker (CVPR 2023) animates from audio. It predicts 3D Morphable Model coefficients from speech, using ExpNet for expression and PoseVAE for head pose, then renders them through a keypoint-based face generator. LivePortrait, released by Kuaishou in 2024, uses implicit keypoints trained on a large dataset. It adds a stitching module that pastes the animated face back into the full image without misaligned shoulders, and retargeting modules for eye and lip openness. It is fast enough for near real-time use on a GPU. Diffusion-based methods such as Alibaba's EMO and the open Hallo project give more expressive results at much higher compute cost. One photo has no information about the sides of the head, the inside of the mouth or the teeth, so these regions are invented. Large head turns stretch the face, backgrounds and hair may warp along with it, and identity can drift. A common misconception is that these tools build a full 3D model of the person. Even 3DMM-based methods use only an approximate face model.
現實世界的實施
一款家譜應用程式將掃描的曾祖父母照片進行動畫處理,讓其露出細微的微笑並眨眼。在幾秒鐘內看起來很逼真,但如果頭部轉動幅度過大,效果就會崩壞。
一個線上學習團隊使用 SadTalker 風格的流程,將講師的頭像照片與旁白音訊轉換為說話頭像的課程介紹。
創作者使用網路攝影機錄製自己的動作,透過 LivePortrait 來驅動插畫肖像,並利用其重定向控制功能來誇大眼睛睜開的幅度。
驗證部門標記了一段疑似執行長的影片,因為當臉部移動時,頭髮和耳環卻異常僵硬,這顯示該影片是透過單張照片動畫製作的。
單張照片肖像動畫的未來
用於視訊通話、客戶服務和教育的即時虛擬化身正變得越來越實用,擴散模型先驗(diffusion priors)也正在改善模型填補未見區域(如牙齒和側面視圖)的方式。大角度頭部旋轉、一致的頭髮與配件,以及長期的身分穩定性仍然是難點。由於單張照片就足以作為輸入,同意權與揭露成為核心議題。偵測工具與來源標記正與生成器同步發展,但目前沒有任何單一偵測方法是絕對可靠的。
付諸實踐
為什麼這很重要
- 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
- 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
- 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。
留意
- 如果出處不明,肖像權和同意可能會成為法律風險。
- 模型表現可能因光照、人口統計和環境的不同而有所不同。
- 除非監控置信閾值,否則誤報可能會被忽略。
後續步驟
- 定義精確度、召回率和錯誤成本的接受標準。
- 使用符合實際生產條件的數據進行測試。
- 為低置信度或高影響力的預測添加人工審核。
- 追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
常見問題
什麼是單張照片肖像動畫?
透過單張照片進行肖像動畫製作,能讓靜態臉孔動起來,包括轉頭、眨眼、變換表情或說話。其運作原理是將驅動影片或音訊軌道的動作轉移到原始影像上。這項技術支援了說話頭像、動態家庭照片和講師影片,但也引發了同意權的疑慮,因為只要一張公開照片就足以作為輸入素材。
First Order Motion Model 如何取得其關鍵點?
FOMM 以非監督式學習的方式發現關鍵點。這就是為什麼它不僅適用於臉部,也適用於其他物體類別。
遮擋圖(occlusion map)的用途是什麼?
遮擋圖會告訴生成器哪些區域無法透過扭曲原始影像來產生,必須進行填補。
相對動作轉移(relative motion transfer)有什麼好處?
應用驅動關鍵點的變化方式,而不是它們的位置,可以防止驅動者的臉部幾何結構取代原始影像的臉部結構。
SadTalker 從音訊中預測什麼?
SadTalker 的 ExpNet 和 PoseVAE 會產生 3DMM 係數,然後由臉部渲染器將其轉換為影格。
LivePortrait 的拼接模組(stitching module)有什麼作用?
拼接模組在將動畫裁切區域貼回原始影像時,能保持其與影像其餘部分的對齊。