概述
他們模仿運動的外觀,而不模擬運動的原因。這就是為什麼物體消失、液體行為奇怪、肢體穿過物體以及剪輯保持較短的原因,這對於任何試圖判斷鏡頭是否真實或使用這些模型進行規劃和機器人技術的人來說都很重要。
深入探討
視訊產生器接受大量素材的訓練,以預測幀或對幀進行降噪。訓練目標獎勵類似於真實影片的輸出。它不會獎勵遵守質量或動量守恆的輸出。常見的物理現象,例如球落下或人們行走,在數據中得到了很好的體現,並且通常看起來是正確的。罕見或複雜的事件,例如玻璃破碎、特定碰撞或液體倒入形狀奇怪的容器中,出現的頻率較低,更難學習。 OpenAI自己的關於Sora的技術材料指示,它沒有準確地模擬玻璃破碎等相互作用。物件持久性是一個記憶體問題。當某些東西被隱藏時,模型必須透過它不可見的框架來承載其身分。模型參與的上下文數量有限,因此隱藏的物件可能會發生變化或根本沒有變化。因果關係也很弱:咬傷、溢出或凹痕應該會留下持久的變化,但模型可能會將其視為短暫的視覺事件。剪輯長度主要受計算限制。影片被表示為時空令牌,隨著令牌數量的增加,注意力成本急劇上升,因此許多產品生成秒而不是分鐘。較長的影片通常是透過延長剪輯來製作的,這會使錯誤更加複雜。一個常見的誤解是這些模型包含實體引擎。他們沒有,儘管他們可能會發現一些隱含的身體規律。研究人員建立了諸如Physics-IQ之類的基準來測試這一點,發現視覺逼真的輸出並不意味著物理理解。世界模型研究試圖縮小差距:Google DeepMind 的 Genie 系列生成互動式環境,Meta DeepMind 的 Genie 系列生成互動式環境,Meta 的 V-JEPA 透過在抽象表示空間而不是像素中進行預測來學習,而 NVIDIA 的 Cosmos 則以機器人等物理人工智慧為目標。
現實世界的實施
生成的人咬了一塊餅乾,但之後餅乾就沒有咬痕了。 OpenAI在2024年預覽模型時將此故障命名為Sora的限制之一。
一隻狗走在樹後面,從樹的另一邊出來,皮毛圖案不同,因為模型沒有對隱藏物體保持穩定的記憶。
跑步者的雙腿似乎在跨步中交換兩側,雙腳沿著地面滑動,這表明模型學習了跑步的外觀,而不是所涉及的接觸力。
籃球穿過籃筐,短暫消失,然後重新出現在球員手中,這個序列看起來幀與幀都很流暢,但沒有物理意義。
人工智慧影片為何會出現物理錯誤的未來
隨著規模和更好的數據的出現,物理合理性得到了改善,對於常見場景來說,它可能會不斷改進。更困難的情況,例如長期因果關係、罕見的交互作用以及跨長時間遮蔽的可靠物件持久性,可能需要架構更改,例如顯式記憶、3D 結構或混合模擬,而不是單獨進行縮放。針對機器人和互動環境的世界模型是一個活躍的研究領域,分別測試視覺真實性和物理正確性的基準將有助於顯示真正的進展。純粹的影片預測是否能夠學習魯棒的物理學還沒有定論,研究人員對此也存在分歧。
付諸實踐
為什麼這很重要
- 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
- 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
- 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。
留意
- 如果出處不明,肖像權和同意可能會成為法律風險。
- 模型表現可能因光照、人口統計和環境的不同而有所不同。
- 除非監控置信閾值,否則誤報可能會被忽略。
後續步驟
- 定義精確度、召回率和錯誤成本的接受標準。
- 使用符合實際生產條件的數據進行測試。
- 為低置信度或高影響力的預測添加人工審核。
- 追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
常見問題
AI 影片物理錯誤的原因是什麼?
人工智慧影片會出現物理錯誤,因為生成器學習的是像素通常如何隨時間變化的統計模式,而不是品質、力和碰撞的規則。他們模仿運動的外觀,而不模擬運動的原因。這就是為什麼物體消失、液體行為奇怪、肢體穿過物體以及剪輯保持較短的原因,這對於任何試圖判斷鏡頭是否真實或使用這些模型進行規劃和機器人技術的人來說都很重要。
典型視訊產生器的訓練目標主要獎勵什麼?
模型經過訓練可以預測幀或對幀進行去噪,因此輸出看起來就像訓練片段。物理正確性不是直接測量的。
為什麼像玻璃破碎這樣的罕見事件對於視訊模型來說尤其困難?
數據中不常見且物理複雜的事件使模型可供學習的範例較少,因此其輸出不太可靠。
該指南主要將物件持久性故障描述為什麼樣的問題?
為了保持隱藏物件的一致性,模型必須透過其不可見的框架來承載其身份,而有限的上下文使其不可靠。
AI影片片段往往只有幾秒長的主要原因是什麼?
更多的幀意味著更多的令牌,注意力成本隨著令牌數量的增加而快速增長,因此長度受到計算的限制。
哪一項陳述反映了對影片產生器的誤解?
視訊產生器沒有明確的實體模擬器。他們所展示的任何物理現像都隱含在學習模式中。