PANDUAN AI Audio

Vokoder HiFi-GAN dan GAN

HiFi-GAN ialah vokoder permusuhan generatif yang menukar spektrogram mel kepada bentuk gelombang audio mentah hampir serta-merta, menghasilkan pertuturan berkualiti studio jauh lebih pantas daripada masa nyata.

Dengar panduan iniAI-diceritakan · ~2 min

Pada halaman ini2 min dibaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan Vocoder HiFi-GAN dan GAN
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Ia menjadi peringkat akhir standard teks ke pertuturan moden kerana ia pantas, ringan dan sukar untuk dibezakan daripada rakaman sebenar.

Menyelam dalam

Vokoder ialah langkah terakhir dalam kebanyakan saluran paip TTS: model seperti Tacotron atau FastSpeech meramalkan mel-spektrogram (gambar padat kekerapan dari semasa ke semasa), dan vocoder mengisi sampel bentuk gelombang sebenar. Vocoder saraf awal seperti WaveNet kedengaran hebat tetapi menghasilkan sampel audio demi sampel, menjadikannya sangat perlahan. HiFi-GAN, dikeluarkan oleh Kong, Kim dan Bae pada 2020, menggantikan gelung autoregresif itu dengan penjana suapan ke hadapan tunggal yang dilatih secara berlawanan. Helah utamanya ialah menggunakan berbilang diskriminator yang menilai audio pada skala yang berbeza dan mengikut corak berkala yang berbeza, memaksa penjana untuk mendapatkan kedua-dua tekstur halus dan berkala pic dengan betul. Hasilnya ialah pertuturan 22 kHz yang disintesis ratusan kali lebih pantas daripada masa nyata pada GPU, dengan audio ground-truth yang menyaingi kualiti.

Pelaksanaan Dunia Sebenar

Menjana output pertuturan pembantu maya dan apl navigasi yang memerlukan respons tanpa kelewatan yang boleh didengar.

Menguasakan alat pengklonan suara dan alih suara masa nyata yang mel-spektrogram yang diklon dijadikan audio bunyi semula jadi.

Memandu buku audio dan platform penceritaan podcast yang mensintesis jam pertuturan dengan cepat dan murah.

Berkhidmat sebagai pentas bentuk gelombang dalam pensintesis suara nyanyian dan demo muzik melalui vocoder universal gaya BigVGAN.

Masa Depan Vocoder HiFi-GAN dan GAN

Vokoder GAN semakin kecil dan pantas: keturunan seperti BigVGAN menambah pengaktifan anti-alias untuk digeneralisasikan merentas penyanyi, instrumen dan bahasa yang tidak kelihatan, manakala UnivNet dan Vocos mendorong ke arah sintesis universal, semua jalur. Varian penstriman dan pada peranti kini menjalankan pengekodan suara di dalam telefon dan fon telinga untuk pembantu kependaman rendah. Semakin banyak, model audio resapan dan pemadanan aliran sedang disuling ke dalam penjana laluan tunggal gaya GAN, menggabungkan kesetiaan resapan dengan kelajuan GAN. Jangkakan vocoder untuk menjadi codec audio saraf tujuan umum yang menjanakan kedua-dua pertuturan dan muzik.

Mempraktikkannya

Mengapa ia penting

  • Akses dan capai. Ia meningkatkan kebolehcapaian melalui transkripsi, narasi dan antara muka suara.
  • Kos dan bajet. Pasukan media boleh menghantar audio yang digilap dengan lebih pantas dengan belanjawan yang lebih kecil.
  • Kelajuan dan skala. Sistem yang menghadapi pelanggan boleh memproses interaksi pertuturan pada skala yang lebih besar.

Berhati-hati untuk

  • Penyalahgunaan suara dan risiko penyamaran meningkat apabila tiada kebenaran.
  • Ketepatan boleh menurun merentas aksen, dialek atau persekitaran yang bising.
  • Audio sintetik boleh disalah anggap sebagai pertuturan tulen tanpa pelabelan yang jelas.

Langkah seterusnya

  1. Dapatkan persetujuan yang jelas untuk menangkap suara, pengklonan dan penggunaan semula.
  2. Uji kualiti merentas pelbagai pembesar suara dan keadaan latar belakang.
  3. Tentukan bila manusia mesti menyemak atau meluluskan output.
  4. Labelkan audio sintetik dan simpan rekod asal untuk kebertanggungjawaban.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Take the HiFi-GAN and GAN Vocoders quiz

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah Vocoder HiFi-GAN dan GAN?

HiFi-GAN ialah vokoder permusuhan generatif yang menukar spektrogram mel kepada bentuk gelombang audio mentah hampir serta-merta, menghasilkan pertuturan berkualiti studio jauh lebih pantas daripada masa nyata. Ia menjadi peringkat akhir standard teks ke pertuturan moden kerana ia pantas, ringan dan sukar untuk dibezakan daripada rakaman sebenar.

Apakah tugas utama vocoder seperti HiFi-GAN dalam saluran paip teks ke pertuturan?

Vokoder ialah peringkat akhir yang mensintesis sampel bentuk gelombang sebenar daripada mel-spektrogram yang dihasilkan oleh model akustik.

Mengapakah HiFi-GAN jauh lebih pantas daripada vocoder WaveNet yang terdahulu?

WaveNet menjana sampel audio demi sampel (secara autoregresif), manakala penjana suapan hadapan HiFi-GAN mengeluarkan bentuk gelombang dalam satu pukulan, mencapai kelajuan yang jauh lebih pantas berbanding masa nyata.

Apakah yang dibantu oleh Diskriminator Berbilang Tempoh HiFi-GAN secara khusus?

Diskriminator Berbilang Tempoh membentuk semula bentuk gelombang 1D menjadi 2D menggunakan nombor perdana untuk mengesan struktur berkala yang terikat pada pic.

Vocoder GAN dilatih 'secara lawan.' Apakah maksudnya di sini?

Dalam persediaan GAN, penjana belajar untuk menghasilkan bentuk gelombang yang cukup realistik untuk memperdayakan rangkaian diskriminator yang dilatih untuk membezakan sebenar daripada audio sintetik.

Vokoder mana yang kemudiannya memanjangkan HiFi-GAN untuk membuat generalisasi yang lebih baik kepada suara, nyanyian dan instrumen yang tidak kelihatan?

BigVGAN meningkatkan HiFi-GAN dan menambah pengaktifan berkala anti-alias, meningkatkan generalisasi kepada audio luar pengedaran seperti nyanyian dan instrumen.