Resapan Spektrogram Riffusion
Riffusion ialah hack pintar yang menjana muzik dengan menganggap bunyi sebagai gambar: ia memperhalusi model imej Stable Diffusion untuk melukis spektrogram, kemudian menukar imej tersebut kembali kepada audio.
Gambaran keseluruhan
Ia penting kerana ia menunjukkan alat yang dibina untuk satu medium (imej) boleh menghasilkan satu lagi (muzik) dengan hampir tiada seni bina baharu.
Menyelam dalam
Riffusion, dikeluarkan pada akhir 2022 oleh Seth Forsgren dan Hayk Martiros, bermula sebagai projek hobi. Helah teras: spektrogram ialah imej 2D dengan paksi mendatar ialah masa, paksi menegak ialah kekerapan dan kecerahan piksel ialah kelantangan. Memandangkan Stable Diffusion sudah menjana imej daripada gesaan teks, pencipta memperhalusinya pada beribu-ribu contoh teks spektrogram yang dipasangkan. Gesa ia dengan 'funky jazz bass' dan ia mengeluarkan bunyi rawak ke dalam spektrogram bunyi itu. Untuk membuat audio yang boleh dimainkan, Riffusion menjalankan spektrogram melalui algoritma Griffin-Lim yang membina semula maklumat fasa yang hilang. Oleh kerana resapan boleh berinterpolasi dengan lancar antara gesaan, Riffusion juga boleh mengubah satu gaya menjadi gaya lain melalui klip berterusan, bergelung dengan lancar.
Wawasan Teknikal
Riffusion menggunakan semula saluran paip resapan terpendam tidak berubah: U-Net secara berulang menghilangkan hingar Gaussian daripada imej terpendam yang dikondisikan pada pembenaman teks CLIP. Satu-satunya kerja khusus domain ialah perwakilan spektrogram (skala mel, kuasa log) dan pembinaan semula fasa Griffin-Lim yang menjadikan spektrogram magnitud yang diramalkan kembali kepada bentuk gelombang. Fasa dibuang semasa pengekodan, jadi anggaran lelaran Griffin-Lim ialah sumber utama artifak 'berair' ciri.
Kesan Strategik
Akses dan capai
Ia meningkatkan kebolehcapaian melalui transkripsi, narasi dan antara muka suara.
Kos dan bajet
Pasukan media boleh menghantar audio yang digilap dengan lebih pantas dengan belanjawan yang lebih kecil.
Kelajuan dan skala
Sistem yang menghadapi pelanggan boleh memproses interaksi pertuturan pada skala yang lebih besar.
Masa Depan Resapan Spektrogram Riffusion
Riffusion membuktikan jambatan spektrogram-sebagai-imej berfungsi, dan idea itu kini hidup di dalam sistem audio yang lebih besar dan syarikat Riffusion menjadi. Jangkakan alatan masa hadapan untuk menggantikan Griffin-Lim yang hilang dengan vocoder saraf yang dipelajari untuk fasa yang lebih bersih dan untuk menggabungkan penyebaran spektrogram dengan codec audio terpendam. Pelajaran yang lebih luas, bahawa model imej boleh diubah hala kepada modaliti baharu, terus mempengaruhi cara penyelidik bootstrap penjana audio dan video daripada tulang belakang terlatih sedia ada.
Pelaksanaan Dunia Sebenar
Menjana trek latar belakang gelung pendek untuk permainan video indie daripada gesaan teks seperti 'tegang synthwave chase'
Morphing lancar antara dua gaya muzik, mis. menggabungkan 'rumah tropika' menjadi 'lo-fi hip hop' merentasi satu klip
Menghasilkan katil muzik ambien tanpa royalti untuk video dan podcast YouTube tanpa yuran pelesenan
Memprototaip idea melodi atau berirama yang kemudian dirakam semula oleh pemuzik dengan betul dalam stesen kerja audio digital
Risiko & Pengawal
Penyalahgunaan suara dan risiko penyamaran meningkat apabila tiada kebenaran.
Ketepatan boleh menurun merentas aksen, dialek atau persekitaran yang bising.
Audio sintetik boleh disalah anggap sebagai pertuturan tulen tanpa pelabelan yang jelas.
Hala Tuju Pelaksanaan
Dapatkan persetujuan yang jelas untuk menangkap suara, pengklonan dan penggunaan semula.
Uji kualiti merentas pelbagai pembesar suara dan keadaan latar belakang.
Tentukan bila manusia mesti menyemak atau meluluskan output.
Labelkan audio sintetik dan simpan rekod asal untuk kebertanggungjawaban.
Teruskan Meneroka
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Riffusion Spectrogram Diffusion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Panduan seterusnya
Vokoder Penyebaran DiffWave
Soalan lazim
Apakah Resapan Spektrogram Riffusion?
Riffusion ialah hack pintar yang menjana muzik dengan menganggap bunyi sebagai gambar: ia memperhalusi model imej Stable Diffusion untuk melukis spektrogram, kemudian menukar imej tersebut kembali kepada audio. Ia penting kerana ia menunjukkan alat yang dibina untuk satu medium (imej) boleh menghasilkan satu lagi (muzik) dengan hampir tiada seni bina baharu.
Apakah model AI sedia ada yang telah diperhalusi oleh Riffusion untuk menjana muzik?
Riffusion diperhalusi Stable Diffusion, model resapan imej, untuk menjana imej spektrogram yang kemudiannya ditukar kepada audio.
Apakah yang diwakili oleh spektrogram pada dua paksinya?
Dalam spektrogram paksi mendatar ialah masa, paksi menegak ialah kekerapan, dan kecerahan mewakili kenyaringan.
Mengapa Riffusion memerlukan algoritma seperti Griffin-Lim?
Spektrogram menyimpan magnitud tetapi membuang fasa, jadi Griffin-Lim secara berulang menganggarkan fasa untuk membina semula bentuk gelombang yang boleh dimainkan.
Apakah keupayaan yang diberikan oleh penyebaran Riffusion apabila menggabungkan dua gesaan?
Model resapan boleh interpolasi dalam ruang terpendam, membiarkan Riffusion berubah secara berterusan dari satu gaya muzik ke gaya muzik yang lain.
Bagaimanakah Riffusion pada asalnya dicipta dan dikeluarkan?
Riffusion bermula sebagai projek hobi oleh Seth Forsgren dan Hayk Martiros, dikeluarkan secara terbuka pada akhir 2022.