SeterusnyaPanduan seterusnya
Band-Split RoFormer untuk Pemisahan Muzik
AI Audio
PANDUAN AI Audio
Sambungan muzik AI menggunakan model generatif untuk meneruskan klip audio sedia ada, menjana semula bahagian di tengah (mengecat), menggayakannya semula atau menambah dan menggantikan batang instrumen individu.
Dengar panduan iniAI-diceritakan · ~3 min
Ia membolehkan idea pendek berkembang menjadi trek penuh atau pengambilan yang cacat dibaiki tanpa merakam semula. Ini penting kerana ia mengubah cara orang mendraf dan mengedit muzik, tetapi ia mempunyai had kualiti yang jelas dan tidak mengalih keluar hak sesiapa sahaja yang memiliki audio asal.
Sambungan mengambil klip sedia ada dan menjana perkara seterusnya. Satu pendekatan biasa ialah penerusan autoregresif. MusicGen Meta, dikeluarkan pada tahun 2023 sebagai sebahagian daripada AudioCraft, menukarkan audio kepada token diskret dengan codec saraf yang dipanggil EnCodec dan meramalkan token selanjutnya selepas token yang anda bekalkan, sama seperti model bahasa meneruskan ayat. Perkhidmatan pengguna seperti Suno dan Udio menawarkan ini sebagai ciri Lanjutkan, biasanya membenarkan anda memilih titik mula dan menukar lirik atau gaya untuk bahagian baharu. Mengecat menjana semula kawasan bertopeng di tengah sambil mengekalkan audio pada kedua-dua belah, berguna untuk membetulkan lirik atau menggantikan empat bar. Model resapan sesuai dengan ini kerana audio yang diketahui boleh dipegang tetap sementara hanya rentang bertopeng dihilangkan. Mod audio-ke-audio atau campuran semula, seperti yang Stability AI yang diperkenalkan dengan Audio Stabil 2.0 pada tahun 2024, menambahkan sebahagian hingar pada input dan menjananya semula di bawah gesaan baharu, jadi struktur kekal semasa bunyi dan gaya berubah. Tetapan kekuatan mengawal jumlah baki asal. Kerja batang menggabungkan pemisahan dan penjanaan. Model pemisahan sumber seperti Demucs sumber terbuka Meta membahagikan campuran kepada vokal, dram, bes dan lain-lain; penjana kemudian boleh menambah atau menggantikan satu bahagian yang dikondisikan pada yang lain. Hadnya adalah nyata. Sambungan panjang hanyut: tempo, kekunci, imbangan campuran dan timbre vokal boleh merayau. Gabungan boleh mengklik atau melompat dengan kuat. Model melihat tetingkap konteks terhad, jadi motif dari minit pertama mungkin dilupakan. Salah tanggapan yang biasa ialah model memahami struktur lagu seperti yang dilakukan oleh seorang pemuzik; ia adalah padanan corak dalam audio terkini. Hak juga berterusan: melanjutkan rakaman komersial yang bukan milik anda menghasilkan terbitan daripadanya, dan banyak syarat perkhidmatan melarang memuat naik audio yang anda tidak mempunyai hak untuk melakukannya.
Seorang penulis lagu menyenandungkan idea korus selama 20 saat, memuat naiknya ke penjana muzik dan menggunakan ciri Lanjutkan daripada tanda 0:18 untuk menghasilkan ayat dan jambatan yang mengikuti dalam kekunci dan tempo yang sama.
Editor podcast mempunyai katil muzik berlesen 30 saat yang terlalu pendek untuk intro, jadi dia menjana kesinambungan dan menyilangkannya pada garisan bar untuk mencapai 60 saat.
Penerbit memisahkan demo lama kepada vokal, dram, bes dan batang lain dengan Demucs, meredamkan batang dram yang lemah dan mempunyai model menjana bahagian dram baharu yang dikondisikan pada batang yang tinggal.
Sebuah band mengecat dua bar di mana penyanyi itu mengalunkan lirik, memastikan audio pada kedua-dua belah pihak utuh, kemudian memeriksa bahawa vokal yang dijana semula masih berbunyi seperti penyanyi yang sama.
Penyelidikan sedang mendorong ke arah konteks yang lebih panjang, kesedaran struktur yang lebih baik dan kawalan yang lebih baik ke atas batang individu, yang sepatutnya mengurangkan hanyut dan menjadikan pengeditan peringkat bahagian lebih mudah diramal. Penyepaduan ke stesen kerja audio digital adalah arah yang mungkin, memandangkan pengeditan dalam projek sedia ada lebih berguna daripada menjana keseluruhan lagu dalam penyemak imbas. Kualiti pada jahitan dan pemeliharaan identiti penyanyi tertentu tetap menjadi masalah yang sukar. Di sisi hak, pengaturan penyaringan dan pelesenan muat naik antara perkhidmatan dan pemegang hak masih berkembang, jadi apa yang pengguna boleh lanjutkan secara sah bergantung pada syarat dan keputusan mahkamah yang berubah dan bukannya pada teknologi sahaja.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Sambungan muzik AI menggunakan model generatif untuk meneruskan klip audio sedia ada, menjana semula bahagian di tengah (mengecat), menggayakannya semula atau menambah dan menggantikan batang instrumen individu. Ia membolehkan idea pendek berkembang menjadi trek penuh atau pengambilan yang cacat dibaiki tanpa merakam semula. Ini penting kerana ia mengubah cara orang mendraf dan mengedit muzik, tetapi ia mempunyai had kualiti yang jelas dan tidak mengalih keluar hak sesiapa sahaja yang memiliki audio asal.
Klip itu ditukar kepada token diskret dan model meramalkan token yang akan datang seterusnya, sama seperti cara model bahasa meneruskan teks.
MusicGen bergantung pada EnCodec, codec audio saraf daripada Meta, untuk mewakili audio sebagai token diskret.
Mengecat mengisi atau menggantikan rentang yang dipilih, seperti lirik flubbed, sambil mengekalkan audio sekeliling utuh.
Resapan boleh mengekang kawasan yang diketahui semasa denoising, jadi hanya bahagian yang hilang dijana semula agar sesuai dengan persekitarannya.
Kekuatan yang lebih tinggi menambah lebih banyak bunyi dan menjana semula lebih banyak, menukar input lagi; kekuatan yang lebih rendah mengekalkan lebih banyak strukturnya.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Band-Split RoFormer untuk Pemisahan Muzik
AI Audio