音訊人工智慧指南

視訊轉音訊生成和 AI Foley

視訊轉音訊生成(有時稱為 AI Foley)使用模型觀看無聲視訊並產生與螢幕上發生的情況以及發生時間相匹配的聲音效果和氛圍。

聆聽此指南AI 語音敘述 · ~3 min

本頁4 分鐘閱讀
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 視訊轉音訊生成與 AI Foley 的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

與僅遵循描述的文字轉聲音工具不同,這些模型使用素材本身來計算撞擊、腳步和運動的時間。這很重要,因為聲音設計是緩慢的,需要熟練的工作,並且同步的初稿可以加快電影製作人、遊戲開發人員和影片創作者的編輯速度。

深入探討

Video-to-audio (V2A) models take silent footage as input and produce a soundtrack matched to both content and timing: feet landing as they hit the floor, a door slamming on the frame it closes. Text-to-sound-effect tools, by contrast, produce a clip from a description but know nothing about the timing of your shot. The name AI Foley borrows from the film craft of performing everyday sounds in sync with picture, named after Jack Foley of Universal. Several systems demonstrated the approach in 2024. Google DeepMind described its V2A research in June 2024, generating audio from video pixels with an optional text prompt for steering. Meta's Movie Gen, announced in October 2024, included an audio model producing sound effects and music for video. MMAudio, an open research model from academic and Sony researchers, trained jointly on video-audio and text-audio data and emphasized tight synchronization. Google's Veo 3, released in 2025, generated video and audio together rather than adding sound afterwards. A typical pipeline encodes frames with a visual model, extracts features that track motion over short time windows, and conditions a diffusion or flow-matching generator operating in a compressed audio latent space. A text prompt adds detail pixels cannot supply, such as gravel rather than wood underfoot. Misconceptions are common. These models cannot know what off-screen events sound like, and they cannot reliably infer material from appearance, so a plastic prop may sound metallic. Most are not built for intelligible dialogue matched to lips, which is a separate problem. Sync errors of a few frames are audible on sharp impacts. Training data often comes from online video collections such as VGGSound, built from YouTube clips, which carries its own rights questions. For professional work, treat output as a first pass that a sound editor refines.

現實世界的實施

創作者擁有一段由 AI 生成的無聲海浪拍打岩石的剪輯,並通過視頻轉音頻模型運行該剪輯,以獲得隨著每次海浪撞擊而增強的海浪和水花聲音。

一位獨立電影製作人為追逐場景生成了第一遍配樂,然後聲音編輯器用錄製的礫石台階替換了模型猜錯表面的腳步聲。

遊戲工作室在調試最終錄音之前,在遊戲擷取中使用視訊轉音訊模型來製作新生物動畫的聲音原型。

編輯器添加了文字提示“木門,重,舊鉸鏈”,因此模型的門關與道具的材質相匹配,但它無法從像素可靠地推斷出道具的材質。

視訊轉音訊生成與 AI Foley 的未來

視訊和音訊的聯合生成(如 Veo 3 所示)表明聲音將越來越多地與影像一起生成,而不是稍後添加,而獨立的 V2A 對於真實鏡頭仍然有用。同步性、材料準確性和可控性的改進(例如指定哪個物體應該發出聲音)是活躍的研究領域。專業採用可能取決於可編輯的分層輸出,而不是單一混合音軌,因為聲音編輯器需要單獨的元素。有關訓練資料許可和合成音訊揭露的問題尚未解決,可能會影響工作室願意使用哪些工具。

付諸實踐

為什麼這很重要

  • 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
  • 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
  • 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。

留意

  • 如果未徵得同意,語音濫用和冒充風險就會增加。
  • 由於口音、方言或嘈雜的環境,準確性可能會下降。
  • 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。

後續步驟

  1. 獲得語音捕獲、克隆和重用的明確同意。
  2. 測試不同揚聲器和背景條件下的品質。
  3. 定義人員必須審查或批准輸出的時間。
  4. 標記合成音訊並保留來源記錄以供問責。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加視訊轉音訊生成和 AI Foley 測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是視訊轉音訊生成和 AI 擬音?

視訊轉音訊生成(有時稱為 AI Foley)使用模型觀看無聲視訊並產生與螢幕上發生的情況以及發生時間相匹配的聲音效果和氛圍。與僅遵循描述的文字轉聲音工具不同,這些模型使用素材本身來計算撞擊、腳步和運動的時間。這很重要,因為聲音設計是緩慢的,需要熟練的工作,並且同步的初稿可以加快電影製作人、遊戲開發人員和影片創作者的編輯速度。

視訊轉音訊模型與文字轉聲音效果工具的最大差異是什麼?

V2A 模型以視訊為條件,因此可以對撞擊和運動進行計時;純文字工具對特定鏡頭一無所知。

擬音電影工藝是以誰的名字命名的?

Foley 向 Jack Foley 致敬,他開創了將日常聲音與影像同步演奏的先河。

哪個系統同時產生視訊和音訊而不是事後添加聲音?

Veo 3 與視訊一起產生音頻,這與為現有鏡頭添加聲音的 V2A 型號不同。

可選文字提示在 V2A 模型中起什麼作用?

文字將輸出引導至影像中不明確的細節,例如腳下的礫石與木材。

為什麼 V2A 模型會使塑膠道具聽起來像金屬?

視覺外觀是材料的不完美線索,因此模型可能在沒有額外指導的情況下猜測錯誤。