概述
這很重要,因為它證明了文字轉圖像模型中的視覺知識可以只用無標籤的影片「教導」移動。
深入探討
Make-A-Video, announced by Meta AI in September 2022, generates brief video clips from text prompts. Its key trick is decoupling appearance from motion: a text-to-image model learns what things look like from paired text-image data, while separate spatiotemporal layers learn how they move from video footage with no associated text. Meta said this reduced the need for paired text-video examples and that the research used publicly available datasets. Meta also described making videos from images and creating new videos similar to existing videos. The base model produces low-resolution, low-frame-rate clips, then dedicated networks interpolate extra frames and upscale spatial resolution. The result was strikingly coherent for its era, though clips were short, blurry, and prone to flicker and warping.
現實世界的實施
將單一描述性句子動畫化為社群媒體貼文的短循環剪輯
將“泰迪熊畫肖像”之類的靜態概念作為動態插圖變為現實
在兩個用戶提供的靜態圖像之間進行插值以創建平滑的過渡視頻
在拍攝之前產生想像場景的快速動作草稿以用於故事板
製作影片文字轉影片的未來
Make-A-Video 的圖像優先加上未標記的運動配方為整個文本到視頻浪潮奠定了基礎。它的後代強調更長、更高解析度、時間穩定的剪輯以及可控的攝影機運動和音訊。即使架構轉向基於變壓器的潛在擴散和統一模型(也接受圖像或視訊調節以進行編輯和延續),預計核心思想(以低廉的成本重用大量圖像知識和學習運動)仍將持續存在。
付諸實踐
為什麼這很重要
- 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
- 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
- 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。
留意
- 如果出處不明,肖像權和同意可能會成為法律風險。
- 模型表現可能因光照、人口統計和環境的不同而有所不同。
- 除非監控置信閾值,否則誤報可能會被忽略。
後續步驟
- 定義精確度、召回率和錯誤成本的接受標準。
- 使用符合實際生產條件的數據進行測試。
- 為低置信度或高影響力的預測添加人工審核。
- 追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
常見問題
什麼是 Make-A-Video 文字轉影片?
Make-A-Video 是 Meta 的 2022 年系統,可將文字提示轉換為短影片剪輯,而無需對標記的文字-影片對進行訓練。這很重要,因為它表明文字到圖像模型中的視覺知識可以僅使用未標記的影片來「教導」移動。
讓 Make-A-Video 避免需要標記的文字-影片對的核心創新是什麼?
Make-A-Video 解耦了這個問題:文字到圖像模型從帶有字幕的圖像中學習事物的外觀,而單獨的時間層則從原始的、未標記的影片中學習運動。
Make-A-Video 如何為影像模型添加運動功能?
它透過新的時間層擴展了 2D 空間卷積和注意力,學習內容如何隨時間變化。
幀插值和超解析度階段有什麼作用?
在粗略的低解析度、低幀速率草稿之後,插值添加幀,超解析度模組提高解析度。
Make-A-Video 輸出的典型限制是什麼?
剪輯只有幾秒鐘,解析度相對較低,容易出現時間閃爍和失真。
Besides text prompts, what visual input can Make-A-Video use to create a video?
Meta said Make-A-Video can create videos from images as well as text prompts.