Audio AI Itọsọna

Orisun-Filter Vocoding ati WORLD

Vocoder jẹ ohun elo kan ti o mu ọrọ yato si awọn bulọọki ile rẹ ti o tun ṣe.

Akopọ

Vocoder jẹ ohun elo kan ti o mu ọrọ yato si awọn bulọọki ile rẹ ti o tun ṣe. Awoṣe asẹ-orisun ati olugbohunsafẹfẹ WORLD jẹ awọn ọna Ayebaye ti o ṣe agbara ọrọ-si-ọrọ ati iyipada ohun nipa yiya sọtọ ohun ti awọn okun ohun rẹ ṣe lati ohun ti ẹnu rẹ ṣe.

Orisun-Filter Vocoding ati WORLD joko ni awọn iṣan-iṣẹ ohun-AI ti o yi ọrọ pada, orin, ati ohun fun ibaraẹnisọrọ, iraye si, ati iṣelọpọ media.

Jin Dive

Awoṣe-àlẹmọ orisun n ṣapejuwe ọrọ bi awọn ege meji ti n ṣiṣẹ papọ: orisun kan ( ariwo lati awọn okun ohun gbigbọn rẹ fun awọn ohun ti a sọ, tabi afẹfẹ alariwo fun whispers ati awọn kọnsonanti) kọja nipasẹ àlẹmọ (apẹrẹ ti ọfun rẹ, ẹnu, ati imu). Vocoder ṣe itupalẹ ohun ti o gbasilẹ lati ṣe iṣiro awọn ege wọnyi, lẹhinna ṣajọpọ ohun titun lati ọdọ wọn. AGBAYE, ti a tu silẹ nipasẹ Masanori Morise ni ayika 2016, jẹ vocoder ti o ni agbara giga ti o yọkuro awọn aye mẹta: F0 (agbegbe ipolowo ti orisun), apoowe spectral (àlẹmọ, nipasẹ CheapTrick algorithm rẹ), ati aperiodicity (iye ariwo ni ibamu si ohun orin, nipasẹ PLATINUM/D4C). Awọn ṣiṣan mẹta wọnyi le ṣe atunṣe ni ominira lẹhinna tun ṣe atunṣe, ṣiṣe WORLD iṣẹ-iṣẹ fun TTS parametric ati awọn eto ohun orin.

Imọ-imọ-ẹrọ

Agbára ayé ń wá látinú ìyapa mímọ́. CheapTrick ṣe iṣiro apoowe iwoye didan ti o lagbara si awọn aṣiṣe F0 kekere, lakoko ti ipolowo orin DIO/Harvest ati D4C ṣe iwọn aperiodicity iye. Nitori ipolowo, timbre, ati ariwo n gbe ni awọn ṣiṣan paramita lọtọ, o le yi F0 soke octave kan laisi iyipada tani ohun ti o dun bi, tabi gigun gigun laisi iyipada ipolowo. Awọn vocoders Neural bi WaveNet nigbamii ṣe awoṣe igbi ni taara, ṣugbọn AYE wa ni iyara, itumọ, ati laisi iwe-aṣẹ.

Mastering Orisun-Filter Vocoding ati WORLD

Vocoder jẹ ohun elo kan ti o mu ọrọ yato si awọn bulọọki ile rẹ ti o tun ṣe. Awoṣe asẹ-orisun ati olugbohunsafẹfẹ WORLD jẹ awọn ọna Ayebaye ti o ṣe agbara ọrọ-si-ọrọ ati iyipada ohun nipa yiya sọtọ ohun ti awọn okun ohun rẹ ṣe lati ohun ti ẹnu rẹ ṣe. Orisun-Filter Vocoding ati WORLD joko ni awọn iṣan-iṣẹ ohun-AI ti o yi ọrọ pada, orin, ati ohun fun ibaraẹnisọrọ, iraye si, ati iṣelọpọ media. Lati kọ oye ti o jinlẹ, tọju orisun-Filter Vocoding ati WORLD bi awoṣe iṣẹ, kii ṣe ẹya ẹyọkan: ṣalaye awọn abajade ti o fẹ, ṣe alaye awọn arosọ, ati sọtọ ohun ti eto le ṣe ni igbẹkẹle lati ohun ti o tun nilo idajọ amoye.

Ni iṣe, awọn ẹgbẹ ti o lagbara ni lilo Orisun-Filter Vocoding ati WORLD itọju didara, lairi, ati igbanilaaye gẹgẹbi awọn ẹya pataki kanna ti ilana imuṣiṣẹ. Wọn ṣe akọsilẹ awọn ibeere aṣeyọri ti o fojuhan, idanwo lodi si data ojulowo ati ṣiṣan iṣẹ, ati atunbere ti o da lori awọn ilana ikuna ti a ṣakiyesi dipo awọn bori ala-akoko kan. Eyi ni ibiti oye imọ-jinlẹ yipada si agbara ti o tọ kọja ọja, eto imulo, ati awọn iṣẹ ṣiṣe.

O ṣe ilọsiwaju iraye si nipasẹ transcription, alaye, ati awọn atọkun ohun. Ni akoko kanna, ilokulo ohun ati awọn eewu imisi eniyan n pọ si nigbati igbanilaaye ba sonu. Ọna resilient julọ julọ ni lati darapọ iyara idanwo pẹlu ibawi ijọba: ṣiṣe awọn awakọ awakọ, mu ẹri mu, ṣe atẹjade awọn iwe ipinnu, ati imudojuiwọn awọn aabo nigbagbogbo bi ihuwasi awoṣe, awọn ireti olumulo, ati awọn ibeere ilana ti dagbasoke.

Ipa Ilana

O ṣe ilọsiwaju iraye si nipasẹ transcription, alaye, ati awọn atọkun ohun.

O ṣe ilọsiwaju iraye si nipasẹ transcription, alaye, ati awọn atọkun ohun. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.

Awọn ẹgbẹ Media le firanṣẹ ohun didan yiyara pẹlu awọn isuna-owo kekere.

Awọn ẹgbẹ Media le firanṣẹ ohun didan yiyara pẹlu awọn isuna-owo kekere. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.

Awọn ọna ṣiṣe ti nkọju si alabara le ṣe ilana awọn ibaraẹnisọrọ sisọ ni iwọn nla.

Awọn ọna ṣiṣe ti nkọju si alabara le ṣe ilana awọn ibaraẹnisọrọ sisọ ni iwọn nla. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.

Ojo iwaju ti Orisun-Filter Vocoding ati WORLD

Awọn vocoders ti n ṣisẹ ifihan agbara mimọ ti gba pupọ nipasẹ awọn vocoders neural (HiFi-GAN, WaveRNN) fun iseda ti oke-opin, ṣugbọn AYE ko ti parẹ. O yege bi iyara, opin iwaju ore-ọrẹ Sipiyu inu awọn opo gigun ti iyipada ohun, awọn iṣelọpọ orin, ati awọn ipilẹ iwadi, ati awọn ẹya F0-plus-spectral-envelope ti o tun jẹ ifunni ọpọlọpọ awọn awoṣe nkankikan. Reti awọn ọna ṣiṣe arabara nibiti awọn aye-itumọ ara-aye ṣe itọsọna awọn decoders ti ara, fifun awọn olupilẹṣẹ ni iṣakoso kongẹ lori ipolowo ati timbre laisi irubọ otitọ.

Real-World imuse

Awọn irinṣẹ iyipada ohun ti o yipada ipolowo agbọrọsọ ati timbre lakoko ti o jẹ ki ọrọ ni oye

Awọn olupilẹṣẹ ohun orin (gẹgẹbi ilolupo eda UTAU/NNSVS) ti o tun ṣe awọn akọsilẹ ni awọn ipolowo tuntun

Awọn ọna ṣiṣe ọrọ-si-ọrọ parametric ti o ṣe agbekalẹ F0, spectral, ati awọn ṣiṣan aperiodicity ṣaaju ki o to focoding

Awọn ipilẹ ti iwadii ọrọ fun iyipada ipolowo, gigun akoko, ati ṣiṣatunṣe prosody laisi atunṣeto

Awọn Ilana imuse

Orisun-Filter Vocoding ati WORLD ni iwa

Awọn irinṣẹ iyipada ohun ti o yipada ipolowo agbọrọsọ ati timbre lakoko ti o jẹ ki ọrọ ni oye.

Awọn irinṣẹ iyipada ohun ti o yipada ipolowo ati timbre agbọrọsọ lakoko titọju awọn ẹgbẹ oye ọrọ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.

Orisun-Filter Vocoding ati WORLD ni iwa

Kọrin ohun synthesizers (gẹgẹ bi awọn UTAU/NNSVS ilolupo) ti o resynthesize awọn akọsilẹ ni titun ipolowo.

Awọn olutọpa ohun orin orin (gẹgẹbi ilolupo eda UTAU / NNSVS) ti o tun ṣe awọn akọsilẹ ni awọn aaye titun Awọn ẹgbẹ maa n gba awọn esi to dara julọ nigbati wọn ba ṣalaye awọn ipele ti o dara ni iwaju, tọju ọna imuduro eniyan fun awọn ọran eti, ati orin awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.

Orisun-Filter Vocoding ati WORLD ni iwa

Awọn ọna ṣiṣe ọrọ-si-ọrọ parametric ti o ṣe ipilẹṣẹ F0, spectral, ati awọn ṣiṣan aperiodicity ṣaaju ifọrọranṣẹ.

Awọn eto ọrọ-ọrọ parametric ti o ṣe ipilẹṣẹ F0, iwoye, ati awọn ṣiṣan aperiodicity ṣaaju ki awọn ẹgbẹ vocoding nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe lori akoko.

Orisun-Filter Vocoding ati WORLD ni iwa

Awọn ipilẹ ti iwadii ọrọ fun iyipada ipolowo, gigun akoko, ati ṣiṣatunṣe prosody laisi atunṣeto.

Awọn ipilẹ ti iwadii ọrọ fun yiyi ipolowo, gigun akoko, ati ṣiṣatunṣe prosody laisi awọn ẹgbẹ ikẹkọ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna igbega eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe lori akoko.

Awọn ewu & Awọn ọna iṣọ

!

ilokulo ohun ati awọn ewu afarawe ṣe pọ si nigbati igbanilaaye ba sonu.

!

Yiye le ju silẹ kọja awọn asẹnti, awọn ede-ede, tabi awọn agbegbe alariwo.

!

Ohun afetigbọ sintetiki le jẹ aṣiṣe fun ọrọ ododo laisi isamisi to yege.

Ilana Ilana imuse

1

Gba ifọkansi ti o fojuhan fun gbigba ohun, ti ẹda, ati ilotunlo.

Gba ifọkansi ti o fojuhan fun gbigba ohun, ti ẹda, ati ilotunlo. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

2

Didara idanwo kọja awọn agbohunsoke oniruuru ati awọn ipo abẹlẹ.

Didara idanwo kọja awọn agbohunsoke oniruuru ati awọn ipo abẹlẹ. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

3

Ṣetumo nigbati eniyan gbọdọ ṣe atunyẹwo tabi fọwọsi awọn abajade.

Ṣetumo nigbati eniyan gbọdọ ṣe atunyẹwo tabi fọwọsi awọn abajade. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

4

Aami ohun sintetiki ki o tọju awọn igbasilẹ provenance fun iṣiro.

Aami ohun sintetiki ki o tọju awọn igbasilẹ provenance fun iṣiro. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

Tesiwaju Ṣiṣawari