Tiếp theoHướng dẫn tiếp theo
Bộ phát âm khuếch tán DiffWave
AI âm thanh
HƯỚNG DẪN AI âm thanh
Khuếch tán phổ khuếch tán
Riffusion adapts a text-to-image diffusion model to generate audio by generating spectrogram images and reconstructing waveforms.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
It is a research and creative example; its outputs require listening and technical validation.
Lặn sâu
Released as a hobby project in 2022, Riffusion fine-tuned Stable Diffusion on paired text and spectrogram images. A spectrogram places time horizontally and frequency vertically, with pixel intensity representing magnitude or energy; this version uses a mel-frequency representation. The generated magnitude representation omits phase. Riffusion uses Griffin-Lim iterations to estimate phase and reconstruct a waveform, which can introduce audible artifacts. Its image-model adaptation demonstrates a route to audio generation, but does not guarantee musical quality or licensing status.
Triển khai trong thế giới thực
Exploring short musical sketches from text prompts
Comparing how prompt changes affect generated spectrogram patterns
Interpolating between prompt embeddings to explore transitions between sound ideas
Prototyping a musical idea before arranging or recording it in an audio workstation
Tương lai của khuếch tán quang phổ khuếch tán
Riffusion demonstrates one way to adapt an image-diffusion pipeline for audio by generating spectrogram images and reconstructing waveforms. The core project is marked no longer actively maintained. Generated clips should be checked for reconstruction artifacts and for rights appropriate to their intended use.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Truy cập và tiếp cận. Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói.
- Chi phí và ngân sách. Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn.
- Tốc độ và tỷ lệ. Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn.
coi chừng
- Rủi ro lạm dụng giọng nói và mạo danh sẽ tăng lên khi thiếu sự đồng ý.
- Độ chính xác có thể giảm đối với các giọng, phương ngữ hoặc môi trường ồn ào.
- Âm thanh tổng hợp có thể bị nhầm lẫn với lời nói đích thực nếu không có nhãn rõ ràng.
Các bước tiếp theo
- Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói.
- Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau.
- Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra.
- Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Riffusion Spectrogram Diffusion quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
What is Riffusion Spectrogram Diffusion?
Riffusion adapts a text-to-image diffusion model to generate audio by generating spectrogram images and reconstructing waveforms. It is a research and creative example; its outputs require listening and technical validation.
Riffusion đã tinh chỉnh mô hình AI hiện có nào để tạo ra âm nhạc?
Riffusion đã tinh chỉnh Stable Diffusion, một mô hình khuếch tán hình ảnh, để tạo ra các hình ảnh phổ sau đó được chuyển đổi thành âm thanh.
On a Riffusion spectrogram image, which direction typically represents increasing time?
The spectrogram maps time horizontally and frequency vertically.
Tại sao Riffusion cần một thuật toán như Griffin-Lim?
Biểu đồ phổ lưu trữ cường độ nhưng loại bỏ pha, do đó, Griffin-Lim ước tính pha lặp đi lặp lại để xây dựng lại dạng sóng có thể chơi được.
What can prompt interpolation do in Riffusion?
Riffusion’s pipeline supports prompt interpolation, allowing a transition between two prompt-conditioned generations.
Riffusion ban đầu được tạo ra và phát hành như thế nào?
Riffusion bắt đầu như một dự án sở thích của Seth Forsgren và Hayk Martiros, được phát hành công khai vào cuối năm 2022.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này