Khuếch tán phổ khuếch tán
Riffusion là một cách hack thông minh giúp tạo ra âm nhạc bằng cách xử lý âm thanh như một hình ảnh: nó tinh chỉnh mô hình hình ảnh Khuếch tán ổn định để vẽ các biểu đồ phổ, sau đó chuyển đổi những hình ảnh đó thành âm thanh.
Tổng quan
It matters because it shows a tool built for one medium (images) can produce another (music) with almost no new architecture.
Lặn sâu
Riffusion, được phát hành vào cuối năm 2022 bởi Seth Forsgren và Hayk Martiros, bắt đầu như một dự án sở thích. Thủ thuật cốt lõi: biểu đồ phổ là hình ảnh 2D trong đó trục hoành là thời gian, trục dọc là tần số và độ sáng pixel là âm lượng. Vì Khuếch tán ổn định đã tạo hình ảnh từ lời nhắc văn bản nên người sáng tạo đã tinh chỉnh nó trên hàng nghìn ví dụ văn bản phổ đồ thị được ghép nối. Nhắc nó bằng 'âm trầm nhạc jazz vui nhộn' và nó sẽ khử tiếng ồn ngẫu nhiên thành biểu đồ phổ của âm thanh đó. Để tạo ra âm thanh có thể phát được, Riffusion chạy biểu đồ phổ thông qua thuật toán Griffin-Lim để tái tạo lại thông tin pha bị thiếu. Vì tính năng khuếch tán có thể nội suy mượt mà giữa các lời nhắc nên Riffusion cũng có thể biến phong cách này thành phong cách khác qua một clip liên tục, lặp lại liền mạch.
Hiểu biết kỹ thuật
Riffusion tái sử dụng đường ống khuếch tán tiềm ẩn không thay đổi: U-Net lặp đi lặp lại loại bỏ nhiễu Gaussian khỏi hình ảnh tiềm ẩn được điều chỉnh bằng cách nhúng văn bản CLIP. Công việc dành riêng cho miền duy nhất là biểu diễn biểu đồ phổ (thang mel, công suất log) và tái tạo pha Griffin-Lim để biến biểu đồ phổ cường độ dự đoán trở lại dạng sóng. Pha bị loại bỏ trong quá trình mã hóa, do đó, ước tính lặp lại của Griffin-Lim là nguồn chính tạo ra các tạo tác 'chảy nước' đặc trưng.
Tác động chiến lược
Truy cập và tiếp cận
Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói.
Chi phí và ngân sách
Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn.
Tốc độ và tỷ lệ
Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn.
Tương lai của khuếch tán quang phổ khuếch tán
Riffusion đã chứng minh rằng cầu nối quang phổ dưới dạng hình ảnh hoạt động và ý tưởng đó hiện tồn tại bên trong các hệ thống âm thanh lớn hơn và công ty Riffusion đã trở thành. Mong đợi các công cụ trong tương lai sẽ thay thế Griffin-Lim bị mất dữ liệu bằng bộ phát âm thần kinh đã học để có pha sạch hơn và kết hợp khuếch tán biểu đồ phổ với codec âm thanh tiềm ẩn. Bài học rộng hơn, rằng các mô hình hình ảnh có thể được chuyển hướng sang các phương thức mới, tiếp tục ảnh hưởng đến cách các nhà nghiên cứu khởi động các trình tạo âm thanh và video từ các xương sống được huấn luyện trước hiện có.
Triển khai trong thế giới thực
Tạo các bản nhạc nền lặp lại ngắn cho trò chơi điện tử độc lập từ lời nhắc văn bản như 'cuộc rượt đuổi sóng tổng hợp căng thẳng'
Chuyển đổi mượt mà giữa hai phong cách âm nhạc, ví dụ: pha trộn 'ngôi nhà nhiệt đới' thành 'hip hop lo-fi' trong một clip duy nhất
Sản xuất nền nhạc không gian miễn phí bản quyền cho video và podcast trên YouTube mà không phải trả phí cấp phép
Tạo nguyên mẫu các ý tưởng về giai điệu hoặc nhịp điệu mà nhạc sĩ sau đó ghi lại chính xác trong máy trạm âm thanh kỹ thuật số
Rủi ro & lan can
Rủi ro lạm dụng giọng nói và mạo danh sẽ tăng lên khi thiếu sự đồng ý.
Độ chính xác có thể giảm đối với các giọng, phương ngữ hoặc môi trường ồn ào.
Âm thanh tổng hợp có thể bị nhầm lẫn với lời nói đích thực nếu không có nhãn rõ ràng.
Lộ trình thực hiện
Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói.
Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau.
Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra.
Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Riffusion Spectrogram Diffusion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Bộ phát âm khuếch tán DiffWave
Câu hỏi thường gặp
What is Riffusion Spectrogram Diffusion?
Riffusion là một cách hack thông minh giúp tạo ra âm nhạc bằng cách xử lý âm thanh như một hình ảnh: nó tinh chỉnh mô hình hình ảnh Khuếch tán ổn định để vẽ các biểu đồ phổ, sau đó chuyển đổi những hình ảnh đó thành âm thanh. Nó quan trọng vì nó cho thấy một công cụ được xây dựng cho một phương tiện (hình ảnh) có thể tạo ra một phương tiện khác (âm nhạc) mà hầu như không có kiến trúc mới.
Riffusion đã tinh chỉnh mô hình AI hiện có nào để tạo ra âm nhạc?
Riffusion đã tinh chỉnh Stable Diffusion, một mô hình khuếch tán hình ảnh, để tạo ra các hình ảnh phổ sau đó được chuyển đổi thành âm thanh.
Một quang phổ thể hiện điều gì trên hai trục của nó?
Trong biểu đồ phổ, trục hoành là thời gian, trục tung là tần số và độ sáng biểu thị âm lượng.
Tại sao Riffusion cần một thuật toán như Griffin-Lim?
Biểu đồ phổ lưu trữ cường độ nhưng loại bỏ pha, do đó, Griffin-Lim ước tính pha lặp đi lặp lại để xây dựng lại dạng sóng có thể chơi được.
Khuếch tán mang lại khả năng gì cho Riffusion khi trộn hai dấu nhắc?
Các mô hình Khuếch tán có thể nội suy trong không gian tiềm ẩn, cho phép Riffusion biến đổi liên tục từ phong cách âm nhạc này sang phong cách âm nhạc khác.
Riffusion ban đầu được tạo ra và phát hành như thế nào?
Riffusion bắt đầu như một dự án sở thích của Seth Forsgren và Hayk Martiros, được phát hành công khai vào cuối năm 2022.