SeterusnyaPanduan seterusnya
Vokoder Gelombang Selari
AI Audio
PANDUAN AI Audio
HiFi-GAN ialah vokoder permusuhan generatif yang menukar spektrogram mel kepada bentuk gelombang audio mentah hampir serta-merta, menghasilkan pertuturan berkualiti studio jauh lebih pantas daripada masa nyata.
Dengar panduan iniAI-diceritakan · ~2 min
Ia menjadi peringkat akhir standard teks ke pertuturan moden kerana ia pantas, ringan dan sukar untuk dibezakan daripada rakaman sebenar.
Vokoder ialah langkah terakhir dalam kebanyakan saluran paip TTS: model seperti Tacotron atau FastSpeech meramalkan mel-spektrogram (gambar padat kekerapan dari semasa ke semasa), dan vocoder mengisi sampel bentuk gelombang sebenar. Vocoder saraf awal seperti WaveNet kedengaran hebat tetapi menghasilkan sampel audio demi sampel, menjadikannya sangat perlahan. HiFi-GAN, dikeluarkan oleh Kong, Kim dan Bae pada 2020, menggantikan gelung autoregresif itu dengan penjana suapan ke hadapan tunggal yang dilatih secara berlawanan. Helah utamanya ialah menggunakan berbilang diskriminator yang menilai audio pada skala yang berbeza dan mengikut corak berkala yang berbeza, memaksa penjana untuk mendapatkan kedua-dua tekstur halus dan berkala pic dengan betul. Hasilnya ialah pertuturan 22 kHz yang disintesis ratusan kali lebih pantas daripada masa nyata pada GPU, dengan audio ground-truth yang menyaingi kualiti.
Menjana output pertuturan pembantu maya dan apl navigasi yang memerlukan respons tanpa kelewatan yang boleh didengar.
Menguasakan alat pengklonan suara dan alih suara masa nyata yang mel-spektrogram yang diklon dijadikan audio bunyi semula jadi.
Memandu buku audio dan platform penceritaan podcast yang mensintesis jam pertuturan dengan cepat dan murah.
Berkhidmat sebagai pentas bentuk gelombang dalam pensintesis suara nyanyian dan demo muzik melalui vocoder universal gaya BigVGAN.
Vokoder GAN semakin kecil dan pantas: keturunan seperti BigVGAN menambah pengaktifan anti-alias untuk digeneralisasikan merentas penyanyi, instrumen dan bahasa yang tidak kelihatan, manakala UnivNet dan Vocos mendorong ke arah sintesis universal, semua jalur. Varian penstriman dan pada peranti kini menjalankan pengekodan suara di dalam telefon dan fon telinga untuk pembantu kependaman rendah. Semakin banyak, model audio resapan dan pemadanan aliran sedang disuling ke dalam penjana laluan tunggal gaya GAN, menggabungkan kesetiaan resapan dengan kelajuan GAN. Jangkakan vocoder untuk menjadi codec audio saraf tujuan umum yang menjanakan kedua-dua pertuturan dan muzik.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
HiFi-GAN ialah vokoder permusuhan generatif yang menukar spektrogram mel kepada bentuk gelombang audio mentah hampir serta-merta, menghasilkan pertuturan berkualiti studio jauh lebih pantas daripada masa nyata. Ia menjadi peringkat akhir standard teks ke pertuturan moden kerana ia pantas, ringan dan sukar untuk dibezakan daripada rakaman sebenar.
Vokoder ialah peringkat akhir yang mensintesis sampel bentuk gelombang sebenar daripada mel-spektrogram yang dihasilkan oleh model akustik.
WaveNet menjana sampel audio demi sampel (secara autoregresif), manakala penjana suapan hadapan HiFi-GAN mengeluarkan bentuk gelombang dalam satu pukulan, mencapai kelajuan yang jauh lebih pantas berbanding masa nyata.
Diskriminator Berbilang Tempoh membentuk semula bentuk gelombang 1D menjadi 2D menggunakan nombor perdana untuk mengesan struktur berkala yang terikat pada pic.
Dalam persediaan GAN, penjana belajar untuk menghasilkan bentuk gelombang yang cukup realistik untuk memperdayakan rangkaian diskriminator yang dilatih untuk membezakan sebenar daripada audio sintetik.
BigVGAN meningkatkan HiFi-GAN dan menambah pengaktifan berkala anti-alias, meningkatkan generalisasi kepada audio luar pengedaran seperti nyanyian dan instrumen.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Vokoder Gelombang Selari
AI Audio