Tiếp theoHướng dẫn tiếp theo
AI Audio Eraser và Dọn dẹp âm thanh video
AI âm thanh
HƯỚNG DẪN AI âm thanh
Quá trình tạo video thành âm thanh, đôi khi được gọi là AI Foley, sử dụng các mô hình quan sát video không có tiếng và tạo ra các hiệu ứng âm thanh cũng như âm thanh nền phù hợp với những gì diễn ra trên màn hình và thời điểm chúng xảy ra.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Khácกับ các công cụ chuyển văn bản thành âm thanh vốn chỉ tuân theo mô tả, các mô hình này sử dụng chính đoạn phim để căn chỉnh thời gian cho các cú va chạm, tiếng bước chân và chuyển động. Điều này quan trọng vì thiết kế âm thanh là công việc đòi hỏi kỹ năng và tốn thời gian, còn các bản nháp đầu tiên đã đồng bộ hóa có thể đẩy nhanh quá trình chỉnh sửa cho các nhà làm phim, nhà phát triển trò chơi và người sáng tạo video.
Video-to-audio (V2A) models take silent footage as input and produce a soundtrack matched to both content and timing: feet landing as they hit the floor, a door slamming on the frame it closes. Text-to-sound-effect tools, by contrast, produce a clip from a description but know nothing about the timing of your shot. The name AI Foley borrows from the film craft of performing everyday sounds in sync with picture, named after Jack Foley of Universal. Several systems demonstrated the approach in 2024. Google DeepMind described its V2A research in June 2024, generating audio from video pixels with an optional text prompt for steering. Meta's Movie Gen, announced in October 2024, included an audio model producing sound effects and music for video. MMAudio, an open research model from academic and Sony researchers, trained jointly on video-audio and text-audio data and emphasized tight synchronization. Google's Veo 3, released in 2025, generated video and audio together rather than adding sound afterwards. A typical pipeline encodes frames with a visual model, extracts features that track motion over short time windows, and conditions a diffusion or flow-matching generator operating in a compressed audio latent space. A text prompt adds detail pixels cannot supply, such as gravel rather than wood underfoot. Misconceptions are common. These models cannot know what off-screen events sound like, and they cannot reliably infer material from appearance, so a plastic prop may sound metallic. Most are not built for intelligible dialogue matched to lips, which is a separate problem. Sync errors of a few frames are audible on sharp impacts. Training data often comes from online video collections such as VGGSound, built from YouTube clips, which carries its own rights questions. For professional work, treat output as a first pass that a sound editor refines.
Một người sáng tạo có một đoạn clip ngắn không tiếng do AI tạo ra về sóng đánh vào đá và chạy nó qua mô hình tạo video thành âm thanh để có được âm thanh sóng vỗ và bọt nước lớn dần lên khi mỗi con sóng tràn vào.
Một nhà làm phim độc lập tạo ra bản nhạc nền nháp đầu tiên cho một cảnh rượt đuổi, sau đó một biên tập viên âm thanh thay thế tiếng bước chân bằng tiếng bước chân trên sỏi được ghi âm lại ở những chỗ mô hình đoán sai bề mặt.
Một studio trò chơi sử dụng mô hình tạo video thành âm thanh trên đoạn ghi hình gameplay để làm nguyên mẫu âm thanh cho hoạt ảnh sinh vật mới trước khi đặt hàng các bản ghi âm chính thức.
Một biên tập viên thêm câu lệnh văn bản 'cửa gỗ, nặng, bản lề cũ' để tiếng đóng cửa của mô hình khớp với chất liệu của đạo cụ mà nó không thể suy luận chính xác từ các điểm ảnh (pixel).
Quá trình tạo đồng thời video và âm thanh, như trong Veo 3, cho thấy âm thanh sẽ ngày càng được sản xuất song song với hình ảnh thay vì được thêm vào sau đó, trong khi công cụ V2A độc lập vẫn hữu ích cho các đoạn phim thực tế. Những cải tiến về độ đồng bộ, độ chính xác của chất liệu và khả năng điều khiển, chẳng hạn như chỉ định vật thể nào nên phát ra âm thanh, là những lĩnh vực đang được tích cực nghiên cứu. Việc áp dụng chuyên nghiệp có thể sẽ phụ thuộc vào đầu ra có thể chỉnh sửa và phân tầng thay vì một bản âm thanh trộn duy nhất, vì các biên tập viên âm thanh cần các thành phần riêng biệt. Các câu hỏi về việc cấp phép dữ liệu huấn luyện và tiết lộ âm thanh tổng hợp vẫn chưa được giải quyết và có thể định hình những công cụ nào mà các studio sẵn sàng sử dụng.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Quá trình tạo video thành âm thanh, đôi khi được gọi là AI Foley, sử dụng các mô hình quan sát video không có tiếng và tạo ra các hiệu ứng âm thanh cũng như âm thanh nền phù hợp với những gì diễn ra trên màn hình và thời điểm chúng xảy ra. Khác với các công cụ chuyển văn bản thành âm thanh vốn chỉ tuân theo mô tả, các mô hình này sử dụng chính đoạn phim để căn chỉnh thời gian cho các cú va chạm, tiếng bước chân và chuyển động. Điều này quan trọng vì thiết kế âm thanh là công việc đòi hỏi kỹ năng và tốn thời gian, còn các bản nháp đầu tiên đã đồng bộ hóa có thể đẩy nhanh quá trình chỉnh sửa cho các nhà làm phim, nhà phát triển trò chơi và người sáng tạo video.
Các mô hình V2A dựa vào điều kiện là video, do đó chúng có thể căn thời gian cho các va chạm và chuyển động; các công cụ chỉ có văn bản không biết gì về một cảnh quay cụ thể.
Foley vinh danh Jack Foley, người tiên phong trong việc biểu diễn các âm thanh hàng ngày đồng bộ với hình ảnh.
Veo 3 sản xuất âm thanh kết hợp cùng video, khác với các mô hình V2A bổ sung âm thanh vào đoạn phim có sẵn.
Văn bản định hướng đầu ra theo các chi tiết cụ thể còn mơ hồ trong hình ảnh, chẳng hạn như sỏi so với gỗ dưới chân.
Vẻ bề ngoài là một manh mối không hoàn hảo về chất liệu, vì vậy mô hình có thể đoán sai nếu không có hướng dẫn bổ sung.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
AI Audio Eraser và Dọn dẹp âm thanh video
AI âm thanh