PANDUAN AI Audio

Sambungan dan Penerusan Muzik AI

Sambungan muzik AI menggunakan model generatif untuk meneruskan klip audio sedia ada, menjana semula bahagian di tengah (mengecat), menggayakannya semula atau menambah dan menggantikan batang instrumen individu.

Dengar panduan iniAI-diceritakan · ~3 min

Pada halaman ini4 minit membaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan Sambungan dan Penerusan Muzik AI
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Ia membolehkan idea pendek berkembang menjadi trek penuh atau pengambilan yang cacat dibaiki tanpa merakam semula. Ini penting kerana ia mengubah cara orang mendraf dan mengedit muzik, tetapi ia mempunyai had kualiti yang jelas dan tidak mengalih keluar hak sesiapa sahaja yang memiliki audio asal.

Menyelam dalam

Sambungan mengambil klip sedia ada dan menjana perkara seterusnya. Satu pendekatan biasa ialah penerusan autoregresif. MusicGen Meta, dikeluarkan pada tahun 2023 sebagai sebahagian daripada AudioCraft, menukarkan audio kepada token diskret dengan codec saraf yang dipanggil EnCodec dan meramalkan token selanjutnya selepas token yang anda bekalkan, sama seperti model bahasa meneruskan ayat. Perkhidmatan pengguna seperti Suno dan Udio menawarkan ini sebagai ciri Lanjutkan, biasanya membenarkan anda memilih titik mula dan menukar lirik atau gaya untuk bahagian baharu. Mengecat menjana semula kawasan bertopeng di tengah sambil mengekalkan audio pada kedua-dua belah, berguna untuk membetulkan lirik atau menggantikan empat bar. Model resapan sesuai dengan ini kerana audio yang diketahui boleh dipegang tetap sementara hanya rentang bertopeng dihilangkan. Mod audio-ke-audio atau campuran semula, seperti yang Stability AI yang diperkenalkan dengan Audio Stabil 2.0 pada tahun 2024, menambahkan sebahagian hingar pada input dan menjananya semula di bawah gesaan baharu, jadi struktur kekal semasa bunyi dan gaya berubah. Tetapan kekuatan mengawal jumlah baki asal. Kerja batang menggabungkan pemisahan dan penjanaan. Model pemisahan sumber seperti Demucs sumber terbuka Meta membahagikan campuran kepada vokal, dram, bes dan lain-lain; penjana kemudian boleh menambah atau menggantikan satu bahagian yang dikondisikan pada yang lain. Hadnya adalah nyata. Sambungan panjang hanyut: tempo, kekunci, imbangan campuran dan timbre vokal boleh merayau. Gabungan boleh mengklik atau melompat dengan kuat. Model melihat tetingkap konteks terhad, jadi motif dari minit pertama mungkin dilupakan. Salah tanggapan yang biasa ialah model memahami struktur lagu seperti yang dilakukan oleh seorang pemuzik; ia adalah padanan corak dalam audio terkini. Hak juga berterusan: melanjutkan rakaman komersial yang bukan milik anda menghasilkan terbitan daripadanya, dan banyak syarat perkhidmatan melarang memuat naik audio yang anda tidak mempunyai hak untuk melakukannya.

Pelaksanaan Dunia Sebenar

Seorang penulis lagu menyenandungkan idea korus selama 20 saat, memuat naiknya ke penjana muzik dan menggunakan ciri Lanjutkan daripada tanda 0:18 untuk menghasilkan ayat dan jambatan yang mengikuti dalam kekunci dan tempo yang sama.

Editor podcast mempunyai katil muzik berlesen 30 saat yang terlalu pendek untuk intro, jadi dia menjana kesinambungan dan menyilangkannya pada garisan bar untuk mencapai 60 saat.

Penerbit memisahkan demo lama kepada vokal, dram, bes dan batang lain dengan Demucs, meredamkan batang dram yang lemah dan mempunyai model menjana bahagian dram baharu yang dikondisikan pada batang yang tinggal.

Sebuah band mengecat dua bar di mana penyanyi itu mengalunkan lirik, memastikan audio pada kedua-dua belah pihak utuh, kemudian memeriksa bahawa vokal yang dijana semula masih berbunyi seperti penyanyi yang sama.

Masa Depan Sambungan dan Penerusan Muzik AI

Penyelidikan sedang mendorong ke arah konteks yang lebih panjang, kesedaran struktur yang lebih baik dan kawalan yang lebih baik ke atas batang individu, yang sepatutnya mengurangkan hanyut dan menjadikan pengeditan peringkat bahagian lebih mudah diramal. Penyepaduan ke stesen kerja audio digital adalah arah yang mungkin, memandangkan pengeditan dalam projek sedia ada lebih berguna daripada menjana keseluruhan lagu dalam penyemak imbas. Kualiti pada jahitan dan pemeliharaan identiti penyanyi tertentu tetap menjadi masalah yang sukar. Di sisi hak, pengaturan penyaringan dan pelesenan muat naik antara perkhidmatan dan pemegang hak masih berkembang, jadi apa yang pengguna boleh lanjutkan secara sah bergantung pada syarat dan keputusan mahkamah yang berubah dan bukannya pada teknologi sahaja.

Mempraktikkannya

Mengapa ia penting

  • Akses dan capai. Ia meningkatkan kebolehcapaian melalui transkripsi, narasi dan antara muka suara.
  • Kos dan bajet. Pasukan media boleh menghantar audio yang digilap dengan lebih pantas dengan belanjawan yang lebih kecil.
  • Kelajuan dan skala. Sistem yang menghadapi pelanggan boleh memproses interaksi pertuturan pada skala yang lebih besar.

Berhati-hati untuk

  • Penyalahgunaan suara dan risiko penyamaran meningkat apabila tiada kebenaran.
  • Ketepatan boleh menurun merentas aksen, dialek atau persekitaran yang bising.
  • Audio sintetik boleh disalah anggap sebagai pertuturan tulen tanpa pelabelan yang jelas.

Langkah seterusnya

  1. Dapatkan persetujuan yang jelas untuk menangkap suara, pengklonan dan penggunaan semula.
  2. Uji kualiti merentas pelbagai pembesar suara dan keadaan latar belakang.
  3. Tentukan bila manusia mesti menyemak atau meluluskan output.
  4. Labelkan audio sintetik dan simpan rekod asal untuk kebertanggungjawaban.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Take the AI Music Extension and Continuation quiz

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah Pelanjutan dan Penerusan Muzik AI?

Sambungan muzik AI menggunakan model generatif untuk meneruskan klip audio sedia ada, menjana semula bahagian di tengah (mengecat), menggayakannya semula atau menambah dan menggantikan batang instrumen individu. Ia membolehkan idea pendek berkembang menjadi trek penuh atau pengambilan yang cacat dibaiki tanpa merakam semula. Ini penting kerana ia mengubah cara orang mendraf dan mengedit muzik, tetapi ia mempunyai had kualiti yang jelas dan tidak mengalih keluar hak sesiapa sahaja yang memiliki audio asal.

Bagaimanakah model autoregresif seperti MusicGen meneruskan klip audio?

Klip itu ditukar kepada token diskret dan model meramalkan token yang akan datang seterusnya, sama seperti cara model bahasa meneruskan teks.

Codec saraf manakah yang MusicGen gunakan untuk menukar audio menjadi token?

MusicGen bergantung pada EnCodec, codec audio saraf daripada Meta, untuk mewakili audio sebagai token diskret.

Apakah yang dilakukan oleh lukisan audio?

Mengecat mengisi atau menggantikan rentang yang dipilih, seperti lirik flubbed, sambil mengekalkan audio sekeliling utuh.

Mengapakah model resapan sangat sesuai untuk mengecat?

Resapan boleh mengekang kawasan yang diketahui semasa denoising, jadi hanya bahagian yang hilang dijana semula agar sesuai dengan persekitarannya.

Dalam mod remix atau audio-ke-audio, apakah kawalan tetapan kekuatan?

Kekuatan yang lebih tinggi menambah lebih banyak bunyi dan menjana semula lebih banyak, menukar input lagi; kekuatan yang lebih rendah mengekalkan lebih banyak strukturnya.